【正文】
算,即可以支持500路CIF碼流;考慮的做RAID后性能的提升,實(shí)際應(yīng)用中也僅可以支持到的10001500路CIF碼流,換算成帶寬也就是6595MB/s之間。單4Gb/s的FC主機(jī)接口帶寬為500MB,2個(gè)千兆主機(jī)接口帶寬為250MB,主機(jī)接口帶寬均遠(yuǎn)大于6595MB,即使按照主機(jī)接口應(yīng)用帶寬約為理論帶寬的50%,也大于硬盤在監(jiān)控應(yīng)用中的實(shí)際性能,即采用FC或者IP接口對(duì)監(jiān)控應(yīng)用中的整體性能幾乎沒(méi)有什么影響。因此,考慮性能要求和投入成本,在監(jiān)控應(yīng)用中我們使用IP存儲(chǔ)設(shè)備。通過(guò)實(shí)際測(cè)試也可以看到采用FC和IP的存儲(chǔ)性能相差無(wú)幾。IP網(wǎng)絡(luò)存儲(chǔ)單設(shè)備可以支持約400路D1碼流并發(fā)寫入。在RAID5降級(jí)情況下對(duì)實(shí)際性能幾乎無(wú)影響,RAID5重構(gòu)情況下性能僅下降15%以內(nèi)。由于監(jiān)控視頻數(shù)據(jù)需要反復(fù)的覆蓋寫入,采用傳統(tǒng)的文件系統(tǒng)會(huì)產(chǎn)生大量的磁盤碎片。傳統(tǒng)的磁盤陣列,由于附屬于前端的操作系統(tǒng),對(duì)磁盤碎片是無(wú)法處理的,只能依靠前端操作系統(tǒng)中文件系統(tǒng)的處理機(jī)制來(lái)處理(例如,NTFS和EXT3)。而傳統(tǒng)的文件系統(tǒng)設(shè)計(jì)的時(shí)候考慮更多的是在磁盤沒(méi)有寫滿的情況下如何更快的響應(yīng)一般客戶操作或者數(shù)據(jù)庫(kù)的請(qǐng)求,對(duì)于類似監(jiān)控類型的反復(fù)覆蓋訪問(wèn)方式不是很適用。在長(zhǎng)時(shí)間使用之后,性能和磁盤利用率均會(huì)大幅下降,并且還會(huì)造成磁盤加速損壞,縮短磁盤壽命。IP存儲(chǔ)系統(tǒng)應(yīng)采用磁盤預(yù)分配與延遲分配技術(shù)相結(jié)合,首先查找空閑空間區(qū)域并用于存儲(chǔ)新數(shù)據(jù)的過(guò)程,最大程度地提高系統(tǒng)性能和避免磁盤碎片。同時(shí),結(jié)合高效的碎片整理程序,在系統(tǒng)空閑時(shí)對(duì)磁盤碎片進(jìn)行整理,能夠減少90%以上的文件碎片,大幅改善系統(tǒng)的性能。關(guān)于錄像文件大小的計(jì)算,采用如下方式:對(duì)數(shù)字圖像實(shí)現(xiàn)每天24小時(shí)的不間斷存儲(chǔ),采用4 Mbps碼流,數(shù)據(jù)保存周期為30天。共計(jì)1路視頻,則所需硬盤容量計(jì)算方式如下:視頻碼流247。8(轉(zhuǎn)換為字節(jié))3600(得到一小時(shí)存儲(chǔ)容量)24(得到一天存儲(chǔ)容量)30(得到30天存儲(chǔ)容量)1(得到30天1路視頻存儲(chǔ)容量)247。1024(轉(zhuǎn)化單位為GB)247。(考慮到格式化后的硬盤損失10%)247。1024(轉(zhuǎn)化單位為TB)4 Mbps247。8360024301247。1024247。247。1024≈ TB以交管局指揮中心原有的200路圖像為例,改建200路模擬圖像為720p高清圖像,采用4Mbps碼率,錄像時(shí)間為30天,則4Mbps247。836002430200247。1024247。247。1024≈ TB根據(jù)計(jì)算,共計(jì)需要存儲(chǔ)空間2754TB。則需要2TB硬盤138塊??紤]到數(shù)據(jù)安全性,需要對(duì)磁盤陣列做RAID5,原則上10塊—14塊存儲(chǔ)硬盤做一個(gè)1個(gè)RAID5陣列,則每個(gè)RAID5陣列還需要檢驗(yàn)盤1塊,熱備盤1塊。所以需要部署4臺(tái)48盤位磁盤陣列,2TB企業(yè)級(jí)硬盤共158塊。其他大隊(duì)可采用類似方法計(jì)算。視頻監(jiān)控圖像存儲(chǔ)應(yīng)具備高度的可靠性,不允許出現(xiàn)需要回放某一時(shí)間某一地點(diǎn)的錄像時(shí),出現(xiàn)沒(méi)有錄像或不能回放的情形。存儲(chǔ)系統(tǒng)的設(shè)計(jì)和配置需要從以下幾個(gè)方面提高系統(tǒng)的可靠性: 存儲(chǔ)服務(wù)器的冗余技術(shù),確保存儲(chǔ)管理不間斷工作。 存儲(chǔ)磁盤陣列控制器的冗余技術(shù)。 磁盤的冗余技術(shù),采用各種RAID機(jī)制。 磁盤在線更新機(jī)制,采用熱備盤實(shí)現(xiàn)故障的自動(dòng)替換。 對(duì)重點(diǎn)錄像進(jìn)行備份存儲(chǔ)。磁盤陣列應(yīng)采用成熟的Intel硬件平臺(tái),加上穩(wěn)定的StorOS操作系統(tǒng)的配合,從而具有穩(wěn)定的產(chǎn)品性能。1)產(chǎn)品應(yīng)具備Raid0,1,5,6,10,50,JBOD和熱備盤技術(shù)等熱備技術(shù);采用常用的RAID 5+1片熱備盤的冗余機(jī)制時(shí),當(dāng)盤組里任何一片盤損壞時(shí),通過(guò)校驗(yàn)數(shù)據(jù)塊計(jì)算壞盤的數(shù)據(jù),保障了出現(xiàn)壞盤情況下的數(shù)據(jù)不丟失以及持續(xù)可訪問(wèn)性。配合熱備盤技術(shù),熱備盤自動(dòng)頂替壞盤,并由Raid組中的其它工作盤自動(dòng)計(jì)算壞盤的數(shù)據(jù)并寫入熱備盤,實(shí)現(xiàn)對(duì)壞盤數(shù)據(jù)的重構(gòu);RAID重構(gòu)對(duì)整體性能的影響在15%以下。2)冗余熱插拔風(fēng)扇、冗余電源屏蔽了這些部件的故障導(dǎo)致的設(shè)備故障,同時(shí)這些部件支持在線更換。3)UPS保護(hù)UPS掉電數(shù)據(jù)保護(hù)技術(shù),產(chǎn)品能檢測(cè)到UPS的供電狀態(tài),當(dāng)出現(xiàn)掉電的情況,產(chǎn)品能夠按預(yù)先設(shè)置的策略實(shí)現(xiàn)數(shù)據(jù)從緩存回寫到磁盤上,保證了的數(shù)據(jù)的完整性。一般的磁盤陣列都具有上述可靠性保護(hù)技術(shù),這些技術(shù)也解決了用戶大部分的數(shù)據(jù)丟失的安全隱患,但是不夠徹底。例如當(dāng)磁盤的損壞突破了RAID機(jī)制的磁盤冗余的極限,冗余硬件全部出現(xiàn)故障,UPS保護(hù)時(shí)間不夠等情況,都可能導(dǎo)致整個(gè)系統(tǒng)的服務(wù)中斷。為了解決以上的相對(duì)極端的問(wèn)題,存儲(chǔ)系統(tǒng)也應(yīng)提供相應(yīng)的措施來(lái)保證服務(wù)連續(xù)性和數(shù)據(jù)不丟失。N+m備機(jī)模式該模式下,N臺(tái)存儲(chǔ)設(shè)備為編碼器提供在線存儲(chǔ)服務(wù),同時(shí)配置m臺(tái)(這里以1臺(tái)為例)存儲(chǔ)設(shè)備作為備機(jī)。通過(guò)底層系統(tǒng),備機(jī)會(huì)實(shí)時(shí)監(jiān)測(cè)在線存儲(chǔ)設(shè)備的工作狀況,當(dāng)在線存儲(chǔ)出現(xiàn)服務(wù)中斷(多磁盤故障、硬件部件故障等)時(shí),備機(jī)會(huì)接替故障機(jī)所有的前端(編碼器)配置信息,繼續(xù)提供存儲(chǔ)服務(wù),保證整個(gè)系統(tǒng)的服務(wù)持續(xù)性。當(dāng)在線存儲(chǔ)恢復(fù)后,會(huì)繼續(xù)提供在線存儲(chǔ)服務(wù),備機(jī)停止服務(wù)。IP存儲(chǔ)系統(tǒng)可以結(jié)合前端編碼設(shè)備,在前端設(shè)備配置SD卡,在存儲(chǔ)系統(tǒng)服務(wù)中斷期間實(shí)現(xiàn)錄像接管,并在網(wǎng)絡(luò)恢復(fù)時(shí)將前端視頻數(shù)據(jù)透明化復(fù)制至磁盤陣列保證視頻數(shù)據(jù)不丟失,提升網(wǎng)絡(luò)存儲(chǔ)的可靠性與靈活性,實(shí)現(xiàn)數(shù)據(jù)雙備份。在監(jiān)控的存儲(chǔ)系統(tǒng)中,存儲(chǔ)系統(tǒng)的I/O 吞吐能力也是一個(gè)極為重要的參數(shù),在大規(guī)模監(jiān)控系統(tǒng)中,由于同時(shí)存儲(chǔ)的數(shù)據(jù)量較大,需要存儲(chǔ)系統(tǒng)能夠提供較為強(qiáng)大的I/O 吞吐能力才能正常進(jìn)行數(shù)據(jù)的存儲(chǔ),否則既有可能因?yàn)榇鎯?chǔ)系統(tǒng)的I/O能力不足,在存儲(chǔ)系統(tǒng)中形成性能瓶頸而造成資料無(wú)法存儲(chǔ)、已存儲(chǔ)的資料丟失、甚至于整個(gè)系統(tǒng)的崩潰。此處計(jì)算結(jié)果為實(shí)際需要值,而且為存儲(chǔ)系統(tǒng)寫入處理的能力,并且為多文件同時(shí)寫入,對(duì)于存儲(chǔ)系統(tǒng)的要求極為苛刻。通常在存儲(chǔ)設(shè)備的參數(shù)中,所提供的技術(shù)參數(shù)一般為實(shí)驗(yàn)室測(cè)試環(huán)境中的理想測(cè)試值,在實(shí)際使用中會(huì)有較大幅度的衰減,一般來(lái)說(shuō),存儲(chǔ)設(shè)備的讀取速度會(huì)高于寫入速度,在進(jìn)行參數(shù)對(duì)比時(shí)需要注意區(qū)分。在選擇監(jiān)控存儲(chǔ)產(chǎn)品時(shí),同樣需要考慮到存儲(chǔ)系統(tǒng)I/O 能力的冗余,與存儲(chǔ)空間不同的是,數(shù)據(jù)存儲(chǔ)的動(dòng)作是時(shí)刻在進(jìn)行的,而且非常的關(guān)鍵,一旦發(fā)生I/O阻塞,其后果不堪設(shè)想。所以,選擇時(shí)應(yīng)該至少為I/O留出50%以上的性能冗余。各大隊(duì)分控中心配置的千兆網(wǎng)絡(luò)交換機(jī)(端口帶寬1000M),同時(shí)其他大隊(duì)的監(jiān)控點(diǎn)位少于230個(gè)點(diǎn)上,因此千兆光纖上傳鏈路同樣可以滿足帶寬傳輸?shù)男枨蟆?在派出所和區(qū)縣監(jiān)控中心部署存儲(chǔ)管理服務(wù)器,內(nèi)嵌平臺(tái)軟件的網(wǎng)絡(luò)存儲(chǔ)管理服務(wù)軟件,是針對(duì)大型網(wǎng)絡(luò)監(jiān)控系統(tǒng)環(huán)境的專用存儲(chǔ)管理軟件模塊,實(shí)現(xiàn)遠(yuǎn)程所有圖像的實(shí)時(shí)錄像、報(bào)警錄像、中心集中備份和事后檢索查詢服務(wù),計(jì)劃錄像下支持補(bǔ)錄。支持 DAS、NAS、SAN等多種存儲(chǔ)方式,對(duì)于視頻文件存儲(chǔ)我們建議采用 IPSAN存儲(chǔ)方式。網(wǎng)絡(luò)存儲(chǔ)管理服務(wù)器根據(jù)實(shí)際需求部署,一臺(tái)存儲(chǔ)管理服務(wù)器可以管理的視頻路數(shù)不限,但是同時(shí)并發(fā)存儲(chǔ)處理的視頻路數(shù)受到服務(wù)器性能限制,目前測(cè)試的結(jié)果是在 1000M網(wǎng)絡(luò)環(huán)境下一臺(tái)IPSAN存儲(chǔ)設(shè)備可以并發(fā)響應(yīng) 380路 CIF格式的視頻流,256路 D1格式視頻。網(wǎng)絡(luò)存儲(chǔ)服務(wù)器軟件通過(guò)網(wǎng)絡(luò)獲取系統(tǒng)中所有視頻源的信息,存儲(chǔ)到大容量的存儲(chǔ)設(shè)備中。系統(tǒng)可以支持 n臺(tái)計(jì)算機(jī)組成的分布式集群存儲(chǔ)結(jié)構(gòu)。在這些計(jì)算機(jī)的通訊底層是我們的高性能通訊平臺(tái)技術(shù)。在正常運(yùn)作的情況下,每一臺(tái)存儲(chǔ)計(jì)算機(jī)負(fù)責(zé)存儲(chǔ)整個(gè)系統(tǒng)中的某些錄像信息。首先我們需要定義存儲(chǔ)組,每一個(gè)存儲(chǔ)組有 n路圖像組成。我們把一個(gè)存儲(chǔ)組綁定到一臺(tái)存儲(chǔ)服務(wù)器,這樣全系統(tǒng)的圖像將通過(guò)不同的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。存儲(chǔ)管理服務(wù)器管理的對(duì)象可以是 PC服務(wù)器存儲(chǔ)設(shè)備、 DVR設(shè)備、IP網(wǎng)絡(luò)攝像機(jī),也可以是磁盤陣列或磁帶庫(kù)。 首先系統(tǒng)體系結(jié)構(gòu)上的容錯(cuò)技術(shù)。我們的系統(tǒng)支持分布式的集群技術(shù),簡(jiǎn)單地講,每臺(tái)服務(wù)器正常執(zhí)行當(dāng)前的存儲(chǔ)任務(wù),但是同時(shí)又作為其他服務(wù)器的后備集群節(jié)點(diǎn)。當(dāng)集群系統(tǒng)某一節(jié)點(diǎn)出現(xiàn)故障,那么我們的底層通訊協(xié)議能夠準(zhǔn)確地監(jiān)測(cè)到這臺(tái)機(jī)器的問(wèn)題,這就是所謂的成員離開(kāi)事件,成員離開(kāi)事件將被可信協(xié)議遞交到集群中的每一個(gè)節(jié)點(diǎn),它的備份服務(wù)器將立刻承擔(dān)起失敗節(jié)點(diǎn)的責(zé)任,進(jìn)行錄像。這就是容錯(cuò)功能。而當(dāng)失敗的節(jié)點(diǎn)修復(fù)后重新啟動(dòng)并開(kāi)始錄像,底層通訊協(xié)議能夠把這個(gè)重新加入的時(shí)間遞交給每一個(gè)節(jié)點(diǎn),這是所謂的成員加入事件。備份服務(wù)器接收到這個(gè)時(shí)間以后就停止錄像。這就是錯(cuò)誤恢復(fù)功 能。另外,在錄像分包時(shí),每一個(gè)錄像文件結(jié)束和一個(gè)新的錄像文件開(kāi)始,系統(tǒng)都被冗余一部分?jǐn)?shù)據(jù),以保證沒(méi)有任何圖像幀丟失。 當(dāng)系統(tǒng)發(fā)現(xiàn)存儲(chǔ)的容量超過(guò)系統(tǒng)規(guī)定的最高警戒線,將開(kāi)始啟動(dòng)清盤任務(wù),這個(gè)工作是由存儲(chǔ)管理服務(wù)器來(lái)管理的,存儲(chǔ)管理服務(wù)器將定時(shí)檢查磁盤的情況,進(jìn)行磁盤的清理、自動(dòng)導(dǎo)出等功能。系統(tǒng)提供集中清盤策略,包括先進(jìn)先出,最近訪問(wèn),最多訪問(wèn),以及保留優(yōu)先權(quán)。在先進(jìn)先出的情況下,所有最先錄制的圖像數(shù)據(jù)將被刪除。而在最近訪問(wèn)策略中,越最近訪問(wèn)的錄像資料將被保留越久,越多訪問(wèn)策略則考慮整個(gè)系統(tǒng)用戶對(duì)資料的訪問(wèn)頻度,訪問(wèn)的人越多,錄像資料保留得越久。在所有這些策略中,都可以定義保留優(yōu)先級(jí),如果某一通道的優(yōu)先保留權(quán)越高,那么它的數(shù)據(jù)將被越后刪除,并且系統(tǒng)可以定義保留的時(shí)間長(zhǎng)度。 監(jiān)控資料的后期檢索也是監(jiān)控系統(tǒng)中的一個(gè)非常重要的環(huán)節(jié)。在監(jiān)控中的,實(shí)時(shí)監(jiān)控圖像固然重要,錄制下來(lái)的監(jiān)控資料也會(huì)在關(guān)鍵時(shí)候發(fā)揮更大的作用,如:交通監(jiān)控中,錄制下來(lái)的監(jiān)控資料可以作為交通違章的證據(jù);在治安監(jiān)控中,錄制下來(lái)的監(jiān)控資料可以作為不法分子的犯罪證據(jù);在企業(yè)監(jiān)控中,錄制下來(lái)的監(jiān)控資料可以作為意外事件中的分析資料等等。完善的監(jiān)控系統(tǒng)會(huì)提供多種監(jiān)控資料的后期檢索方式以供選擇,一般會(huì)分為簡(jiǎn)單檢索功能和復(fù)雜的檢索功能。通常在簡(jiǎn)單監(jiān)控系統(tǒng)中,可以直接通過(guò)硬盤錄像機(jī)的檢索回放功能即可檢索到所需資料,而在大型監(jiān)控系統(tǒng)中,例如公安治安監(jiān)控,由于需要經(jīng)常性的檢索監(jiān)控歷史資料,并且同一時(shí)間可能會(huì)有很多相關(guān)人員進(jìn)行檢索。本系統(tǒng)將提供功能完善的檢索查詢系統(tǒng),包括多種查詢方式。但需要注意的是,用戶的查詢檢索同樣會(huì)消耗存儲(chǔ)系統(tǒng)的I/O,并且是與監(jiān)控錄制系統(tǒng)同時(shí)工作,尤其檢索查詢的用戶同時(shí)大量并發(fā)時(shí),對(duì)存儲(chǔ)系統(tǒng)將會(huì)是一個(gè)嚴(yán)重的考驗(yàn),相對(duì)影響存儲(chǔ)系統(tǒng)的性能。所用產(chǎn)品的高級(jí)特性主要體現(xiàn): IP SAN 存儲(chǔ)系統(tǒng)擁有不少于4個(gè)前端GE接口,可連接前端主機(jī)或網(wǎng)絡(luò)交換機(jī),多條數(shù)據(jù)鏈路支持鏈路聚合和故障切換,時(shí)刻保障數(shù)據(jù)通路的可用和暢通。 IP SAN 可通過(guò)前端交換機(jī)進(jìn)行橫向擴(kuò)展,整個(gè)存儲(chǔ)系統(tǒng)的性能、容量、可靠性線性增加,并提供單一管理窗口簡(jiǎn)化系統(tǒng)管理維護(hù)工作。 IP SAN 支持硬盤在線熱插拔,支持硬盤電源短路保護(hù)(5V、12V),支持系統(tǒng)啟動(dòng)時(shí)硬盤順序加電,提供更全面的硬件保護(hù)手段。 提供全局/專用/分布式熱備盤(Hotspare),增強(qiáng)RAID 數(shù)據(jù)保護(hù)機(jī)制。 IP SAN 可選冗余熱插拔電源,支持電源自動(dòng)故障切換,并支持外接UPS,避免電源故障帶來(lái)的系統(tǒng)異常。 IP SAN 基于64位硬件體系架構(gòu)和64位專用存儲(chǔ)操作系統(tǒng),最少4GB緩存配置,可擴(kuò)展至16GB。支持寫緩存鏡像,并且寫緩存支持電池保護(hù),在斷電情況下,支持寫緩存100小時(shí)數(shù)據(jù)保護(hù) 雙控制器架構(gòu),每個(gè)控制器采用雙核存儲(chǔ)處理器。 單柜支持16 塊以上硬盤,支持SAS ,SATA 硬盤,最大支持硬盤數(shù)=192,存儲(chǔ)容量可擴(kuò)展至192TB; 支持RAID 0,1,5,6,10,支持RAID容量在線動(dòng)態(tài)擴(kuò)展功能。 IP SAN 最少提供500MB/s 的帶寬和120000 IOPS 的處理能力。 IP SAN 提供快照拷貝、快照、鏡像、復(fù)制等豐富的數(shù)據(jù)管理功能,快速備份數(shù)據(jù),保護(hù)數(shù)據(jù)免受軟故障危害。 用戶通過(guò)選配IP SAN 的PC/服務(wù)器客戶端軟件,可對(duì)Windows系列操作系統(tǒng)提供系統(tǒng)/文件級(jí)快速備份和恢復(fù),同時(shí)支持PC/服務(wù)器本地系統(tǒng)損壞后的鏡像啟動(dòng)和快速恢復(fù)。 通過(guò)簡(jiǎn)潔方便的GUI 界面,可進(jìn)行近端或遠(yuǎn)程的各種配置和管理,并可統(tǒng)一管理網(wǎng)絡(luò)中部署的全部存儲(chǔ)設(shè)備。 IP SAN 的管理與網(wǎng)絡(luò)管理軟件融合,用戶可以像管理其它網(wǎng)絡(luò)設(shè)備一樣,輕松管理IP SAN。 采用高可靠的企業(yè)級(jí)磁盤(MTBF≥100 萬(wàn)小時(shí)),降低磁盤損壞率; 支持多條數(shù)據(jù)鏈路連接,保障數(shù)據(jù)通路的可用和暢通冗余鏈路; 采用冗余電源、冗余風(fēng)扇 支持RAID 在線容量動(dòng)態(tài)擴(kuò)展功能 即插即用,無(wú)需復(fù)雜的連接設(shè)備,安裝調(diào)試簡(jiǎn)單; 圖形化的中文管理界面; 多臺(tái)設(shè)備可在網(wǎng)管軟件平臺(tái)下統(tǒng)一集中管理; 提供重要數(shù)據(jù)的保護(hù)功能的多種手段:(RAIDHotspare、數(shù)據(jù)快照或克隆功能);