【正文】 tatnulp$ netstatnxlp我一般都分開運(yùn)行這三個(gè)命令，不想一下子看到列出一大堆所有的服務(wù)。不過我絕不會用 numeric 選項(xiàng)（鄙人一點(diǎn)淺薄的看法：IP 地址看起來更方便）。查看各個(gè)監(jiān)聽端口。如果服務(wù)器上有好幾個(gè)Java或者Erlang什么的進(jìn)程在同時(shí)運(yùn)行，能夠按PID分別找到每個(gè)進(jìn)程就很重要了。如果你看到一臺服務(wù)器上有三四十個(gè)監(jiān)聽端口開著，那還是做個(gè)記錄，回頭有空的時(shí)候清理一下，重新組織一下服務(wù)器。 服務(wù)器最大的負(fù)載來自什么地方?平均負(fù)載是多少?七、硬件$ lspci$ dmidecode$ ethtool有很多服務(wù)器還是裸機(jī)狀態(tài)，可以看一下： 找到RAID 卡(是否帶BBU備用電池?)、CPU、空余的內(nèi)存插槽。網(wǎng)卡是否設(shè)置好? 是否正運(yùn)行在半雙工狀態(tài)? 速度是10MBps? 有沒有 TX/RX 報(bào)錯(cuò)?八、IO 性能$ iostatkx 2$ vmstat 2 10$ mpstat 2 10$ dstattopiotopbio 這些命令對于調(diào)試后端性能非常有用。 用它可以看到誰在進(jìn)行 IO： 是不是MySQL吃掉了所有的系統(tǒng)資源? 還是你的PHP進(jìn)程?九、掛載點(diǎn) 和 文件系統(tǒng)$ mount$ cat /etc/fstab$ vgs$ pvs$ lvs$ dfh$ lsof +D / /* beware not to kill your box */ 一共掛載了多少文件系統(tǒng)?有沒有某個(gè)服務(wù)專用的文件系統(tǒng)?(比如MySQL?)文件系統(tǒng)的掛載選項(xiàng)是什么： noatime? default? 有沒有文件系統(tǒng)被重新掛載為只讀模式了？磁盤空間是否還有剩余?是否有大文件被刪除但沒有清空?如果磁盤空間有問題，你是否還有空間來擴(kuò)展一個(gè)分區(qū)？十、內(nèi)核、中斷和網(wǎng)絡(luò)$ sysctla | grep...$ cat /proc/interrupts$ cat /proc/net/ip_conntrack /* may take some time on busy servers */$ netstat$ sss conntrack_max 是否設(shè)的足夠大，能應(yīng)付你服務(wù)器的流量? 在不同狀態(tài)下(TIME_WAIT, …)TCP連接時(shí)間的設(shè)置是怎樣的？ 如果要顯示所有存在的連接，netstat 會比較慢，你可以先用 ss 看一下總體情況。十一、系統(tǒng)日志和內(nèi)核消息$ dmesg$ less /var/log/messages$ less /var/log/secure$ less /var/log/auth 十二、定時(shí)任務(wù)$ ls /etc/cron* + cat$ for user in $(cat /etc/passwd | cutf1d:)。done 關(guān)注那些明顯的問題，比如在一個(gè)典型的LAMP（Linux+Apache+Mysql+Perl）應(yīng)用環(huán)境里: Nginx。MySQL。如果設(shè)定了 phpslow 日志, 直接找錯(cuò)誤信息(php, mysql, memcache, …)，如果沒設(shè)定，趕緊設(shè)定。在varnishlog 和 varnishstat 里, 檢查 hit/，使最終用戶可以直接攻擊你的后端？HAProxy。結(jié)論經(jīng)過這5分鐘之后，你應(yīng)該對如下情況比較清楚了： 這個(gè)故障是否有你熟悉的一些特征？比如對數(shù)據(jù)庫索引使用不當(dāng)，或者太多的apache后臺進(jìn)程。就算還沒有找到，搞清楚了上面這些情況之后，你現(xiàn)在也具備了深挖下去的條件。繼續(xù)努力吧！第三篇：Linux運(yùn)維經(jīng)驗(yàn)總結(jié)Linux運(yùn)維經(jīng)驗(yàn)總結(jié)一、線上操作規(guī)范測試使用當(dāng)初學(xué)習(xí)Linux的使用，從基礎(chǔ)到服務(wù)到集群，都是在虛擬機(jī)做的，雖然老師告訴我們跟真機(jī)沒有什么差別，可是對真實(shí)環(huán)境的渴望日漸上升，不過虛擬機(jī)的各種快照卻讓我們養(yǎng)成了各種手賤的習(xí)慣，以致于拿到服務(wù)器操作權(quán)限時(shí)候，就迫不及待的想去試試，記得上班第一天，老大把root密碼交給我，由于只能使用putty，我就想使用xshell，于是悄悄登錄服務(wù)器嘗試改為xshell+密鑰登錄，因?yàn)闆]有測試，也沒有留一個(gè)ssh連接，所有重啟sshd服務(wù)器之后，自己就被擋在服務(wù)器之外了，幸好當(dāng)時(shí)我備份sshd_config文件，后來讓機(jī)房人員cp過去就可以了，幸虧這是一家小公司，不然直接就被干了……慶幸當(dāng)年運(yùn)氣比較好。/ 8Enter前再三確認(rèn)關(guān)于rmrf / var 這種錯(cuò)誤，我相信手快的人，或者網(wǎng)速比較慢的時(shí)候，出現(xiàn)的幾率相當(dāng)大，當(dāng)你發(fā)現(xiàn)執(zhí)行完之后，你的心至少是涼了半截。切忌多人操作我在的上一家公司，運(yùn)維管理相當(dāng)混亂，舉一個(gè)最典型的例子吧，離職好幾任的運(yùn)維都有服務(wù)器root密碼。先備份后操作養(yǎng)成一個(gè)習(xí)慣，要修改數(shù)據(jù)時(shí)，先備份。二、涉及數(shù)據(jù)慎用rmrf 網(wǎng)上的例子很多，各種rmrf /，各種刪除主數(shù)據(jù)庫，各種運(yùn)維事故……一點(diǎn)小失誤就會造成很大的損失。備份大于一切本來上面都有各種關(guān)于備份，但是我想把它劃分在數(shù)據(jù)類再次強(qiáng)調(diào)，備份非常之重要哇，我記得我的老師說過一句話，涉及到數(shù)據(jù)何種的謹(jǐn)慎都不為過，我就職的公司有做第三方支付網(wǎng)站和網(wǎng)貸平臺的，第三方支付是每兩個(gè)小時(shí)完全備份一次，網(wǎng)貸平臺是每20分鐘備份一次，我不多說了，大家自己斟酌吧穩(wěn)定大于一切其實(shí)不止是數(shù)據(jù)，在整個(gè)服務(wù)器環(huán)境，都是穩(wěn)定大于一切，不求最快，但求最穩(wěn)定，求可用性，所以未經(jīng)測試，不要再服務(wù)器使用新的軟件，比如nginx+phpfpm，生產(chǎn)環(huán)境中php各種掛啊，重啟下就好了，或者換apache就好了。/ 8三、涉及安全ssh 更改默認(rèn)端口（當(dāng)然如果專業(yè)要黑你，掃描下就出來了），禁止root登錄，使用普通用戶+key認(rèn)證+sudo規(guī)則+ip地址+用戶限制，使用hostdeny類似的防爆里破解軟件（超過幾次嘗試直接拉黑），篩選/etc/passwd中l(wèi)ogin的用戶。精細(xì)權(quán)限和控制粒度能使用普通用戶啟動的服務(wù)堅(jiān)決不使用root，把各種服務(wù)權(quán)限控制到最低，控制粒度要精細(xì)。這些信息對于系統(tǒng)被入侵后排錯(cuò)很有幫助。系統(tǒng)運(yùn)行監(jiān)控一般包括硬件占用率常見的有，內(nèi)存，硬盤，cpu，網(wǎng)卡，os包括登錄監(jiān)控，系統(tǒng)關(guān)鍵文件監(jiān)控定期的監(jiān)控可以預(yù)測出硬件損壞的概率，并且給調(diào)優(yōu)帶來很實(shí)用的功能服務(wù)運(yùn)行監(jiān)控服務(wù)監(jiān)控一般就是各種應(yīng)用，web，db，lvs等，這一般都是監(jiān)控一些指標(biāo)在系統(tǒng)出現(xiàn)性能瓶頸的時(shí)候就能很快發(fā)現(xiàn)并解決。在對軟件進(jìn)行優(yōu)化之前，比如要深入了解一個(gè)軟件的運(yùn)行機(jī)制，比如nginx和apache，大家都說nginx快，那就必須知道nginx為什么快，利用什么原理，處理請求比apache，并且要能跟別人用淺顯易懂的話說出/ 8來，必要的時(shí)候還要能看懂源代碼，否則一切以參數(shù)為調(diào)優(yōu)對象的文檔都是瞎談。每次只調(diào)一個(gè)參數(shù)每次只調(diào)一個(gè)參數(shù)，這個(gè)相比大家都了解，調(diào)的多了，你就自己就迷糊了。/ 8六、運(yùn)維心態(tài)控制心態(tài)很多rmrf /data都在下班的前幾分鐘，都在煩躁的高峰，那么你還不打算控制下你的心態(tài)么，有人說了，煩躁也要上班，可是你可以在煩躁的時(shí)候盡量避免處理關(guān)鍵數(shù)據(jù)環(huán)境越是有壓力，越要冷靜，不然會損失更多。試想一下，數(shù)據(jù)被刪了，你各種操作，關(guān)閉數(shù)據(jù)庫，然后修復(fù)，不但有可能覆蓋文件，還找不到內(nèi)存中的表了。不備份的后果是非常嚴(yán)重的。測試和生產(chǎn)環(huán)境在重要操作之前一定要看自己所在的機(jī)器，盡量避免多開窗口。運(yùn)維人員開始忙活了，查資源使用情況、查服務(wù)是否正常、查日志是否報(bào)錯(cuò)、查交易量還有沒有??時(shí)間不知不覺的在敲鍵盤、敲鍵盤、敲鍵盤中過去，但是原因還未定位。針對這個(gè)故障，業(yè)務(wù)希望運(yùn)維能否更快的解決故障的恢復(fù)，經(jīng)理希望制定優(yōu)化呼叫中心故障處理流程，做了以下幾件事：——”能通過鼠標(biāo)完成的工作，不要用鍵盤“ ，加強(qiáng)監(jiān)控——“技術(shù)早于業(yè)務(wù)發(fā)現(xiàn)問題，監(jiān)控不僅是報(bào)警，還要協(xié)助故障定位”——“應(yīng)急方案是最新的、準(zhǔn)確的、簡單明了的” ：故障自愈——”能固化的操作自動化，能機(jī)器做的讓機(jī)器做“ 下面將從故障常見的處理方法開始介紹，再從故障前的準(zhǔn)備工作（完善監(jiān)控