【文章內(nèi)容簡(jiǎn)介】 數(shù)據(jù)時(shí)，先備份。另外，修改配置文件時(shí)，建議注釋原選項(xiàng)，然后再?gòu)?fù)制，修改 / 8再者說(shuō)，如果第一個(gè)例子中，有數(shù)據(jù)庫(kù)備份，那rsync的誤操作不久沒(méi)事了吧，所以說(shuō)丟數(shù)據(jù)庫(kù)非一朝一夕，隨便備份一個(gè)就不用那么慘。二、涉及數(shù)據(jù)慎用rmrf 網(wǎng)上的例子很多，各種rmrf /，各種刪除主數(shù)據(jù)庫(kù)，各種運(yùn)維事故……一點(diǎn)小失誤就會(huì)造成很大的損失。如果真需要?jiǎng)h除，一定要謹(jǐn)慎。備份大于一切本來(lái)上面都有各種關(guān)于備份，但是我想把它劃分在數(shù)據(jù)類再次強(qiáng)調(diào)，備份非常之重要哇，我記得我的老師說(shuō)過(guò)一句話，涉及到數(shù)據(jù)何種的謹(jǐn)慎都不為過(guò)，我就職的公司有做第三方支付網(wǎng)站和網(wǎng)貸平臺(tái)的，第三方支付是每?jī)蓚€(gè)小時(shí)完全備份一次，網(wǎng)貸平臺(tái)是每20分鐘備份一次，我不多說(shuō)了，大家自己斟酌吧穩(wěn)定大于一切其實(shí)不止是數(shù)據(jù)，在整個(gè)服務(wù)器環(huán)境，都是穩(wěn)定大于一切，不求最快，但求最穩(wěn)定，求可用性，所以未經(jīng)測(cè)試，不要再服務(wù)器使用新的軟件，比如nginx+phpfpm，生產(chǎn)環(huán)境中php各種掛啊，重啟下就好了，或者換apache就好了。保密大于一切現(xiàn)在各種艷照門漫天飛，各種路由器后門，所以說(shuō)，涉及到數(shù)據(jù)，不保密是不行的。/ 8三、涉及安全ssh 更改默認(rèn)端口（當(dāng)然如果專業(yè)要黑你，掃描下就出來(lái)了），禁止root登錄，使用普通用戶+key認(rèn)證+sudo規(guī)則+ip地址+用戶限制，使用hostdeny類似的防爆里破解軟件（超過(guò)幾次嘗試直接拉黑），篩選/etc/passwd中l(wèi)ogin的用戶。防火墻防火墻生產(chǎn)環(huán)境一定要開(kāi)，并且要遵循最小原則，drop所有，然后放行需要的服務(wù)端口。精細(xì)權(quán)限和控制粒度能使用普通用戶啟動(dòng)的服務(wù)堅(jiān)決不使用root，把各種服務(wù)權(quán)限控制到最低，控制粒度要精細(xì)。入侵檢測(cè)和日志監(jiān)控使用第三方軟件，時(shí)刻檢測(cè)系統(tǒng)關(guān)鍵文件以及各種服務(wù)配置文件的改動(dòng)，比如,/etc/passwd,/etc/，/etc/d/con/；使用集中化的日志監(jiān)控體系，監(jiān)控/var/log/secure，/etc/log/message，ftp上傳下載文件等報(bào)警錯(cuò)誤日志；另外針對(duì)端口掃描，也可以使用一些第三方軟件。這些信息對(duì)于系統(tǒng)被入侵后排錯(cuò)很有幫助。有人說(shuō)過(guò)，一個(gè)公司在安全投入的成本跟他被安全攻擊損失的成本成正比，安全是一個(gè)很大的話題，也是一個(gè)很基礎(chǔ)的工作，把基礎(chǔ)做好了，就能相當(dāng)?shù)奶岣呦到y(tǒng)安全性，其他的就是安全高手做的了 / 8四、日常監(jiān)控系統(tǒng)運(yùn)行監(jiān)控好多人踏入運(yùn)維都是從監(jiān)控做起，大的公司一般都有專業(yè)24小時(shí)監(jiān)控運(yùn)維。系統(tǒng)運(yùn)行監(jiān)控一般包括硬件占用率常見(jiàn)的有，內(nèi)存，硬盤，cpu，網(wǎng)卡，os包括登錄監(jiān)控，系統(tǒng)關(guān)鍵文件監(jiān)控定期的監(jiān)控可以預(yù)測(cè)出硬件損壞的概率，并且給調(diào)優(yōu)帶來(lái)很實(shí)用的功能服務(wù)運(yùn)行監(jiān)控服務(wù)監(jiān)控一般就是各種應(yīng)用，web，db，lvs等，這一般都是監(jiān)控一些指標(biāo)在系統(tǒng)出現(xiàn)性能瓶頸的時(shí)候就能很快發(fā)現(xiàn)并解決。日志監(jiān)控這里的日志監(jiān)控跟安全的日志監(jiān)控類似，但這里一般都是硬件，os，應(yīng)用程序的報(bào)錯(cuò)和警報(bào)信息監(jiān)控在系統(tǒng)穩(wěn)定運(yùn)行的時(shí)候確實(shí)沒(méi)啥用，但是一旦出現(xiàn)問(wèn)題，你又沒(méi)做監(jiān)控，就會(huì)很被動(dòng)了五、性能調(diào)優(yōu)深入了解運(yùn)行機(jī)制其實(shí)按一年多的運(yùn)維經(jīng)驗(yàn)來(lái)說(shuō)，談?wù){(diào)優(yōu)根本就是紙上談兵，但是我只是想簡(jiǎn)單總結(jié)下，如果有更深入的了解，我會(huì)更新。在對(duì)軟件進(jìn)行優(yōu)化之前，比如要深入了解一個(gè)軟件的運(yùn)行機(jī)制，比如nginx和apache，大家都說(shuō)nginx快，那就必須知道nginx為什么快，利用什么原理，處理請(qǐng)求比apache，并且要能跟別人用淺顯易懂的話說(shuō)出/ 8來(lái)，必要的時(shí)候還要能看懂源代碼，否則一切以參數(shù)為調(diào)優(yōu)對(duì)象的文檔都是瞎談。調(diào)優(yōu)框架以及先后熟悉了底層運(yùn)行機(jī)制，就要有調(diào)優(yōu)的框架和先后順序，比如數(shù)據(jù)庫(kù)出現(xiàn)瓶頸，好多人直接就去更改數(shù)據(jù)庫(kù)的配置文件，我的建議是，先根據(jù)瓶頸去分析，查看日志，寫出來(lái)調(diào)優(yōu)方向，然后再入手，并且數(shù)據(jù)庫(kù)服務(wù)器調(diào)優(yōu)應(yīng)該是最后一步，最先的應(yīng)該是硬件和操作系統(tǒng)，現(xiàn)在的數(shù)據(jù)庫(kù)服務(wù)器都是在各種測(cè)試之后才會(huì)發(fā)布的 適用于所有操作系統(tǒng)，不應(yīng)該先從他入手。每次只調(diào)一個(gè)參數(shù)每次只調(diào)一個(gè)參數(shù)，這個(gè)相比大家都了解，調(diào)的多了，你就自己就迷糊了?；鶞?zhǔn)測(cè)試判斷調(diào)優(yōu)是否有用，和測(cè)試一個(gè)新版本軟件的穩(wěn)定性和性能等方面，就必須要基準(zhǔn)測(cè)試了，測(cè)試要涉及很多因素，測(cè)試是否接近業(yè)務(wù)真實(shí)需求這要看測(cè)試人的經(jīng)驗(yàn)了，相關(guān)資料大家可以參考《高性能mysql》第三版相當(dāng)?shù)暮?，我的老師曾說(shuō)過(guò)，沒(méi)有放之四海皆準(zhǔn)的參數(shù)，任何參數(shù)更改任何調(diào)優(yōu)都必須符合業(yè)務(wù)場(chǎng)景，所以不要再谷歌什么什么調(diào)優(yōu)了，對(duì)你的提升和業(yè)務(wù)環(huán)境的改善沒(méi)有長(zhǎng)久作用。/ 8六、運(yùn)維心態(tài)控制心態(tài)很多rmrf /data都在下班的前幾分鐘，都在煩躁的高峰，那么你還不打算控制下你的心態(tài)么，有人說(shuō)了，煩躁也要上班，可是你可以在煩躁的時(shí)候盡量避免處理關(guān)鍵數(shù)據(jù)環(huán)境越是有壓力，越要冷靜，不然會(huì)損失更多。大多人都有rmrf /data/mysql的經(jīng)歷，發(fā)現(xiàn)刪除之后，那種心情你可以想象一下，可是如果沒(méi)有備份，你急又有什么用，一般這種情況下，你就要冷靜想下最壞打算了，對(duì)于mysql來(lái)說(shuō)，刪除了物理文件，一部分表還會(huì)存在內(nèi)存中，所以斷開(kāi)業(yè)務(wù)，但是不要關(guān)閉mysql數(shù)據(jù)庫(kù)，這對(duì)恢復(fù)很有幫助，并使用dd復(fù)制硬盤，然后你再進(jìn)行恢復(fù)，當(dāng)然了大多時(shí)候你就只能找數(shù)據(jù)恢復(fù)公司了。試想一下，數(shù)據(jù)被刪了，你各種操作，關(guān)閉數(shù)據(jù)庫(kù)，然后修復(fù)，不但有可能覆蓋文件，還找不到內(nèi)存中的表了。對(duì)數(shù)據(jù)負(fù)責(zé)生產(chǎn)環(huán)境不是兒戲，數(shù)據(jù)庫(kù)也不是兒戲，一定要對(duì)數(shù)據(jù)負(fù)責(zé)。不備份的后果是非常嚴(yán)重的。追根究底很多運(yùn)維人員比較忙，遇到問(wèn)題解決就不會(huì)再管了，記得去年一個(gè)客戶的網(wǎng)站老是打不開(kāi)，經(jīng)過(guò)php代碼報(bào)錯(cuò)發(fā)現(xiàn)是session和whos_online損壞，前任運(yùn)維是通過(guò)repair修復(fù)的，我就也這樣修復(fù)了，但是過(guò)了幾個(gè)小時(shí)，又出現(xiàn)了反復(fù)三四次之后，我就去谷歌數(shù)/ 8據(jù)庫(kù)表莫名損壞原因：一是myisam的bug，二是mysqlbug，三是mysql在寫入過(guò)程中被kill，最后發(fā)現(xiàn)是內(nèi)存不夠用，導(dǎo)致OOM kill了mysqld進(jìn)程并且沒(méi)有swap分區(qū)，后臺(tái)監(jiān)控內(nèi)存是夠用的，最后升級(jí)物理內(nèi)存解決。測(cè)試和生產(chǎn)環(huán)境在重要操作之前一定要看自己所在的機(jī)器，盡量避免多開(kāi)窗口。/ 8第四篇：運(yùn)維故障處理思路事件/故障處理應(yīng)該要有什么思路 導(dǎo)讀：在講解事件、故障處理思路前，我先講一個(gè)故障場(chǎng)景（以呼叫中心系統(tǒng)作為一例子）：業(yè)務(wù)人員反映呼叫中心系統(tǒng)運(yùn)行緩慢，部份電話在自助語(yǔ)言環(huán)節(jié)系統(tǒng)處理超時(shí)，話務(wù)轉(zhuǎn)人工座席，人工座席出現(xiàn)爆線情況。運(yùn)維人員開(kāi)始忙活了，查資源使用情況、查服務(wù)是否正常、查日志是否報(bào)錯(cuò)、查交易量還有沒(méi)有??時(shí)間不知不覺(jué)的在敲鍵盤、敲鍵盤、敲鍵盤中過(guò)去，但是原因還未定位。經(jīng)理過(guò)來(lái)了解情況：“系統(tǒng)恢復(fù)了嗎？”、“故障影響是什么？”、“交易中斷了嗎？”??運(yùn)維人員趕緊敲鍵盤，寫sql，看交易量；敲鍵盤，寫命令，看系統(tǒng)資源、情況??最終，定位到問(wèn)題原因是其中一個(gè)功能沒(méi)有控制返回?cái)?shù)量，導(dǎo)致內(nèi)存泄露。針對(duì)這個(gè)故障，業(yè)務(wù)希望運(yùn)維能否更快的解決故障的恢復(fù)，經(jīng)理希望制定優(yōu)化呼叫中心故障處理流程，做了以下幾件事：——”能通過(guò)鼠標(biāo)完成的工作，不要用鍵盤“ ，加強(qiáng)監(jiān)控——“技術(shù)早于業(yè)務(wù)發(fā)現(xiàn)問(wèn)題，監(jiān)控不僅是報(bào)警，還要協(xié)助故障定位”——“應(yīng)急方案是最新的、準(zhǔn)確的、簡(jiǎn)單明了的” ：故障自愈——”能固化的操作自動(dòng)化，能機(jī)器做的讓機(jī)器做“ 下面將從故障常見(jiàn)的處理方法開(kāi)始介紹，再?gòu)墓收锨暗臏?zhǔn)備工作（完善監(jiān)控、制定應(yīng)急方案等方式）來(lái)解決經(jīng)理提出的問(wèn)題，并提出未來(lái)解決故障的想法。常見(jiàn)的方法：1）確定故障現(xiàn)象并初判問(wèn)題影響在處理故障前，運(yùn)維人員首先要知道故障現(xiàn)象，故障現(xiàn)象直接決定故障應(yīng)急方案的制定，這依賴于運(yùn)維人員需要對(duì)應(yīng)用系統(tǒng)的整體功能有一定的熟悉程度。確認(rèn)了故障現(xiàn)象后，才能指導(dǎo)運(yùn)維人員初判斷故障影響。2）應(yīng)急恢復(fù)運(yùn)維最基本的指標(biāo)就是系統(tǒng)可用性，應(yīng)急恢復(fù)的時(shí)效性是系統(tǒng)可用性的關(guān)鍵指標(biāo)。有了上述故障現(xiàn)象與影響的判斷后，就可以制定故障應(yīng)急操作，故障應(yīng)急有很多，比如： 服務(wù)整體性能下降或異常，可以考慮重啟服務(wù)； 應(yīng)用做過(guò)變更