【正文】 浙江大華技術(shù)股份有限公司平安城市視頻云存儲解決方案目錄第1章 行業(yè)趨勢 3 背景介紹 3 建設(shè)目標(biāo) 4 設(shè)計原則 6第2章 方案概述 8 設(shè)計思路 8 融合存儲 8 簡單可靠 8 線性擴(kuò)容 8 增值業(yè)務(wù) 8 邏輯架構(gòu) 10 系統(tǒng)架構(gòu) 10 方案特點 11 用戶價值 15第3章 方案功能 16 云安全管理 16 云池配額管理 16 視頻圖片云寫入 17 視頻圖片云檢索 18 視頻圖片云回放 19 視頻圖片云下載 20 視頻圖片云鎖定 20 快速異?；謴?fù) 20 動態(tài)負(fù)載均衡 21 在線彈性擴(kuò)容 22 自動失敗接管 22 智能運(yùn)維管理 23第4章 方案部署 25 典型應(yīng)用場景 25 場景1:海量視頻錄像存儲 25 場景2:海量卡口圖片存儲 28 場景3:價值視圖數(shù)據(jù)二次存儲 30 場景4:融合共享存儲應(yīng)用場景 33 場景5:視圖智能分析大數(shù)據(jù)應(yīng)用 34 場景6:智慧城市amp。amp。數(shù)據(jù)中心 35 場景7:運(yùn)營商服務(wù)型項目 36 系統(tǒng)部署方案 37 容量規(guī)劃 37 高可靠性設(shè)計 38 組網(wǎng)規(guī)劃 43 設(shè)備產(chǎn)品介紹 45 元數(shù)據(jù)服務(wù)器一體機(jī) 45 數(shù)據(jù)存儲節(jié)點一體機(jī) 46 第三方設(shè)備兼容清單 50 網(wǎng)絡(luò)設(shè)備選型介紹 50 硬盤選型介紹 51第5章 業(yè)務(wù)遷移方案設(shè)計 52 業(yè)務(wù)遷移設(shè)計原則 52 業(yè)務(wù)遷移服務(wù)流程 53 典型業(yè)務(wù)遷移場景 54第1章 行業(yè)趨勢 背景介紹國內(nèi)安防行業(yè)爆發(fā)性增長，大數(shù)據(jù)應(yīng)用需求日益迫切。面對PB級甚至上百PB級的海量存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴(kuò)展上會存在瓶頸。而云存儲可以突破這些性能瓶頸，實現(xiàn)性能與容量的線性擴(kuò)展。平安城市本身具有的特性是追求高性能、高可用性，云存儲提供了一個貼切的新選擇。云存儲是將復(fù)雜的存儲功能實現(xiàn)封閉在云端，通過一種簡單的方式為用戶提供優(yōu)質(zhì)的存儲服務(wù)。具體過程是云存儲通過軟件將系統(tǒng)內(nèi)大量不同類型的存儲設(shè)備管理起來，運(yùn)用虛擬化技術(shù)、集群化技術(shù)、離散存儲技術(shù)、分布式數(shù)據(jù)庫等對系統(tǒng)內(nèi)的設(shè)備資源、存儲容量資源進(jìn)行專業(yè)化整合為用戶提供大容量、高性能的透明存儲服務(wù)；大華云存儲產(chǎn)品采元數(shù)據(jù)用Linux存儲專用操作系統(tǒng)。存儲節(jié)點和元數(shù)據(jù)服務(wù)器采用集群架構(gòu)，采用分布式對象存儲架構(gòu)。將所有的物理存儲虛擬化成統(tǒng)一的存儲空間，以唯一IP地址對外提供存儲服務(wù)。統(tǒng)一存儲系統(tǒng)，靈活擴(kuò)展，多種接口，適應(yīng)各種存儲需求。大華視頻監(jiān)控存儲解決方案致力于為客戶提供高效、安全、經(jīng)濟(jì)和全面未來的視頻監(jiān)控圖像數(shù)據(jù)云存儲解決之道。 建設(shè)目標(biāo)存儲容量保持線性增長。云存儲的整體設(shè)計形成一種非對稱系統(tǒng)架構(gòu)，在實際的運(yùn)行過程當(dāng)中該架構(gòu)能夠使系統(tǒng)提供靈活多變的業(yè)務(wù)擴(kuò)展屬性和持續(xù)穩(wěn)定的性能增長。在硬件設(shè)備規(guī)模和存儲容量不斷擴(kuò)大的情況下系統(tǒng)性能能夠與存儲容量保持線性增長。提供更高的服務(wù)可用性及數(shù)據(jù)可靠性。云存儲系統(tǒng)的核心是一個分布式文件系統(tǒng)，設(shè)計時假設(shè)任意機(jī)框、任意節(jié)點、任意硬盤都可能出現(xiàn)故障，通過分布式的數(shù)據(jù)冗余、數(shù)據(jù)操作日志、元數(shù)據(jù)主備冗余，數(shù)據(jù)自動恢復(fù)等多種機(jī)制來確保服務(wù)的可用性和數(shù)據(jù)的可靠性。自動化管理，減少人工干預(yù)，降低維護(hù)成本。云存儲系統(tǒng)能夠自動失敗接管，當(dāng)硬盤或設(shè)備故障時，可以自動切換、自動恢復(fù)。系統(tǒng)提供基于WEB的管理控制平臺，所有的管理工作均由管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。面向大數(shù)據(jù)分析計算業(yè)務(wù)，高I/O性能。面向大數(shù)據(jù)分析計算業(yè)務(wù)，針對小數(shù)據(jù)存儲、管理采用專用算法，提高處理性能。消除訪問瓶頸，降低存儲和服務(wù)器成本。提供基礎(chǔ)SDK、流媒體SDK、POSIX、NFS/CIFS接口，滿足系統(tǒng)共享應(yīng)用需求，為各類系統(tǒng)融合提供開放性解決方案。采用自有技術(shù)提高存儲節(jié)點和云數(shù)據(jù)服務(wù)器性能，有效提高單點可用性，從整體上降低系統(tǒng)成本。5平安城市云存儲解決方案 設(shè)計原則針對本次工程的實際情況,充分考慮系統(tǒng)建設(shè)的建設(shè)發(fā)展需求，以實現(xiàn)存儲資源統(tǒng)一管理、高效應(yīng)用、系統(tǒng)規(guī)模平滑擴(kuò)容為目標(biāo)，以“先進(jìn)、可靠、成熟、開放、經(jīng)濟(jì)”為總體建設(shè)原則。1. 先進(jìn)性原則在系統(tǒng)總體方案設(shè)計時采用業(yè)界先進(jìn)的方案和技術(shù)，以確保一定時間內(nèi)不落后。選擇實用性強(qiáng)產(chǎn)品，模塊化結(jié)構(gòu)設(shè)計，具備動態(tài)擴(kuò)容能力的系統(tǒng)，既可滿足當(dāng)前的需要又可實現(xiàn)今后系統(tǒng)發(fā)展平滑擴(kuò)展。2. 可靠性原則數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7X24運(yùn)行，而且存儲系統(tǒng)必須有高可用性，以保證應(yīng)用系統(tǒng)對數(shù)據(jù)的隨時存取。同時提供可靠冗余策略，對應(yīng)用數(shù)據(jù)進(jìn)行更加安全的數(shù)據(jù)保護(hù)，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風(fēng)險。在進(jìn)行系統(tǒng)設(shè)計時，充分考慮數(shù)據(jù)高可靠存儲，采用高度可靠的軟硬件容錯設(shè)計，進(jìn)行有效的安全訪問控制，實現(xiàn)故障屏蔽、冗余重建等智能化安全可靠措施，提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺，進(jìn)行有效的故障定位、預(yù)警。3. 成熟性原則為確保整個系統(tǒng)能夠穩(wěn)定工作，軟件平臺將使用先進(jìn)、完善、易于管理和穩(wěn)定可靠的云存儲資源管理系統(tǒng)，對于與應(yīng)用的集成接口，提供高效穩(wěn)定統(tǒng)一的訪問接口。4. 開放性原則開放高性能的應(yīng)用API編程接口，提供人性化的應(yīng)用和管理界面，以滿足用戶需求。充分考慮系統(tǒng)的升級和維護(hù)問題，支持在線升級和維護(hù)。系統(tǒng)的維護(hù)和升級操作由系統(tǒng)管理員即可完成。5. 經(jīng)濟(jì)性原則現(xiàn)有業(yè)務(wù)系統(tǒng)存儲數(shù)據(jù)量較大，且隨著監(jiān)控高清化的趨勢，以及建設(shè)規(guī)模的擴(kuò)大，存儲數(shù)據(jù)的規(guī)模擴(kuò)展較快。因此在建設(shè)系統(tǒng)存儲架構(gòu)時，應(yīng)從長遠(yuǎn)的角度考慮，建設(shè)一個長期的存儲架構(gòu)，除了可以應(yīng)對存儲硬件設(shè)備的升級速度外，還必須考慮到對前期存儲設(shè)備的投資保護(hù)，在保證不斷提供功能和性能提高的同時，存儲架構(gòu)在較長的時間內(nèi)能夠保持相對穩(wěn)定。結(jié)合先進(jìn)的云平臺技術(shù)架構(gòu)優(yōu)勢，根據(jù)本次項目建設(shè)的實際容量需求設(shè)計，同時充分考慮應(yīng)用發(fā)展需求，實現(xiàn)系統(tǒng)可彈性在線平滑升級。通過軟件實現(xiàn)在較廉價普通服務(wù)器上實現(xiàn)高度容錯，同時能夠保持較高的磁盤利用率，保證在較低冗余度的情況下實現(xiàn)數(shù)據(jù)的高可靠，大大節(jié)約和降低系統(tǒng)的建設(shè)成本和持有維護(hù)成本。第2章 方案概述 設(shè)計思路云存儲系統(tǒng)和業(yè)務(wù)系統(tǒng)從物理角度上來說，是兩套松耦合的獨(dú)立系統(tǒng)，可以單獨(dú)部署，分步建設(shè)。從邏輯角度上來說，是一套為了實現(xiàn)業(yè)務(wù)功能的系統(tǒng)，其中業(yè)務(wù)系統(tǒng)負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的加工處理、業(yè)務(wù)數(shù)據(jù)的展示等，云存儲系統(tǒng)負(fù)責(zé)對業(yè)務(wù)原始數(shù)據(jù)和最終數(shù)據(jù)的存儲。 融合存儲 云存儲可以融合多種業(yè)務(wù)應(yīng)用，云存儲可以有效的支持原始視頻存儲、卡口圖片存儲，等數(shù)據(jù)集中存儲與共享業(yè)務(wù)，成為便捷、統(tǒng)一管理和高效應(yīng)用的存儲業(yè)務(wù)系統(tǒng)。有效消除數(shù)據(jù)孤島。 簡單可靠采用業(yè)界先進(jìn)Erasure Code冗余技術(shù)以提升可靠性和空間利用率；支持文件級容錯，單硬盤損壞數(shù)據(jù)可自動恢復(fù)，恢復(fù)時間小于30分鐘；采用節(jié)點間容錯技術(shù)，多節(jié)點損壞不影響讀和寫業(yè)務(wù)，最多支持4臺設(shè)備損壞；元數(shù)據(jù)服務(wù)器采用SSD分級存儲+熱備/元數(shù)據(jù)集群方式工作，保證核心管理服務(wù)可用性；云存儲系統(tǒng)硬盤可集中更換，無需損壞后立馬更換；系統(tǒng)可傻瓜式在線擴(kuò)展。如有硬件故障，數(shù)據(jù)自動恢復(fù)。 線性擴(kuò)容通過云存儲，可發(fā)揮存儲節(jié)點集群的讀寫性能，實現(xiàn)性能的“線性”擴(kuò)展；，單域系統(tǒng)支持萬路高清同時錄像，千路高清同時回放；GB級文件1秒下載；24小時1080P錄像文件1分鐘內(nèi)可完成下載； 增值業(yè)務(wù)平安城市云存儲應(yīng)用的典型場景是視頻圖像業(yè)務(wù)，系統(tǒng)針對視頻圖片讀寫場景做了大量的性能和應(yīng)用優(yōu)化：，視頻圖像文件可更方便的訪問流媒體寫入時，自動按照攝像頭ID和時間建立目錄；在單個云存儲系統(tǒng)內(nèi)，不管規(guī)模由多大，都可以做到秒級定位、64倍速快放，即錄即播等功能。，最小規(guī)模云存儲系統(tǒng)可支持可滿足一線城市圖片并發(fā)寫入需求（每秒1500張），可保證前端卡口圖片的實時可靠保存；，由云存儲系統(tǒng)提供流媒體/圖片轉(zhuǎn)發(fā)等業(yè)務(wù)服務(wù)，有效減少外圍流媒體/圖片轉(zhuǎn)發(fā)服務(wù)器數(shù)量，實現(xiàn)集約部署；，可進(jìn)一步支持提供視頻轉(zhuǎn)碼、圖片轉(zhuǎn)碼、結(jié)構(gòu)化分析等場景需求較多的視圖服務(wù)，實現(xiàn)對平安城市視圖業(yè)務(wù)最大的存儲和業(yè)務(wù)服務(wù)支持。同時，相對于傳統(tǒng)集中存儲，大華云存儲系統(tǒng)可以快速處理海量規(guī)?；囊晥D數(shù)據(jù)，并極大的提高視頻圖像智能分析、結(jié)構(gòu)化處理的效率，進(jìn)一步挖掘其中的高價值實戰(zhàn)信息。 邏輯架構(gòu) 云存儲系統(tǒng)邏輯架構(gòu)系統(tǒng)包含四個層次功能，來滿足最終用戶、系統(tǒng)管理員、運(yùn)營人員的日常操作需求： 存儲層：基于單個存儲節(jié)點，管理本地的硬盤，文件和數(shù)據(jù)塊。管理層：提供單個集群和多域的管理能力接口層：提供豐富的訪問接口，適應(yīng)各種應(yīng)用應(yīng)用層：業(yè)務(wù)應(yīng)用層部署由各用戶根據(jù)自身需求，充分利用接口層提供的各種接口，開發(fā)而成的監(jiān)控系統(tǒng)，聯(lián)網(wǎng)共享系統(tǒng)等。 系統(tǒng)架構(gòu)視頻云存儲由三個主要模塊構(gòu)成流媒體服務(wù)器節(jié)點、數(shù)據(jù)存儲節(jié)點、元數(shù)據(jù)服務(wù)器節(jié)點。流媒體服務(wù)器節(jié)點負(fù)責(zé)從前端IPC獲取視頻、圖像碼流和流量的轉(zhuǎn)發(fā)。數(shù)據(jù)存儲節(jié)點負(fù)責(zé)數(shù)據(jù)的存儲。元數(shù)據(jù)服務(wù)器節(jié)點負(fù)責(zé)管理整個集群的負(fù)載均衡和空間管理。 整體系統(tǒng)架構(gòu) 方案特點統(tǒng)一融合存儲 統(tǒng)一融合存儲（即統(tǒng)一存儲空間）管理是分布式文件系統(tǒng)的一個重要功能，只有提供統(tǒng)一存儲空間管理，才能將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi)，保證系統(tǒng)使用的簡易性、可擴(kuò)展性、高可共享能力。一個具備一定規(guī)模的存儲集群，隨時都可能發(fā)生磁盤、存儲服務(wù)器硬件等方面的故障，統(tǒng)一存儲空間管理功能實現(xiàn)了將整個集群統(tǒng)一視圖功能，整體對外提供一個訪問IP，簡化了與業(yè)務(wù)系統(tǒng)的接口，保證了系統(tǒng)使用的簡易性。同時，存儲的擴(kuò)展僅限存儲內(nèi)部，而不會影響到系統(tǒng)與業(yè)務(wù)系統(tǒng)的接口，也保證了存儲空間內(nèi)數(shù)據(jù)的高共享能力。 具體方式是，通過分布式集群技術(shù)，將所有存儲節(jié)點的存儲空間統(tǒng)一管理，資源池化成一個統(tǒng)一的存儲空間池。同時，系統(tǒng)保證所有文件的文件名在統(tǒng)一命名空間內(nèi)，實現(xiàn)文件訪問的統(tǒng)一命名空間。同時，集群存儲空間的統(tǒng)一管理，實現(xiàn)資源的統(tǒng)一化。再通過集群唯一訪問IP，對外呈現(xiàn)為一個統(tǒng)一的整體。 只需要獲得存儲集群的訪問IP，以及文件所在全局名稱和文件名，即可通過系統(tǒng)客戶端在其他主機(jī)上訪問這個文件。這就實現(xiàn)了分布式文件系統(tǒng)內(nèi)數(shù)據(jù)的高可共享能力。數(shù)據(jù)不需要在上層業(yè)務(wù)系統(tǒng)之間傳遞，任何系統(tǒng)需要取數(shù)據(jù)，都可以直接訪問云存儲來獲取。海量數(shù)據(jù)存儲 傳統(tǒng)存儲服務(wù)器由于主機(jī)的性能、散熱、最大支持盤位數(shù)、管理開銷與復(fù)雜度等方面的限制，所能支持的存儲能力都比較有限，而無法適應(yīng)海量存儲需求。而Scaleup的擴(kuò)展方式顯然無法突破其限制，且性價比較低。而本分布式文件系統(tǒng)通過集群技術(shù)，將眾多廉價存儲服務(wù)器組建成一個集群，實現(xiàn)了Scaleout方式的擴(kuò)展，具備提供海量存儲能力，成為一種性價比非常高的選擇。 分布式文件系統(tǒng)提供海量存儲能力，單個存儲域的存儲空間可以達(dá)到16PB，通過元數(shù)據(jù)服務(wù)器集群擴(kuò)展，系統(tǒng)容量幾乎沒有上限，可以達(dá)到EB級別。系統(tǒng)通過良好設(shè)計，將數(shù)據(jù)存儲和訪問等數(shù)據(jù)業(yè)務(wù)流和系統(tǒng)管理、數(shù)據(jù)管理等相關(guān)的控制流分離。數(shù)據(jù)存儲節(jié)點負(fù)責(zé)提供存儲空間容量和數(shù)據(jù)流服務(wù)，使得存儲空間的增長和數(shù)據(jù)流服務(wù)能力增長相匹配，為海量存儲提供基本保障。而元數(shù)據(jù)管理服務(wù)器負(fù)責(zé)控制流管理和服務(wù)。由于控制流流量相對有限，元數(shù)據(jù)服務(wù)器所能提供的存儲空間，僅受限于服務(wù)器的內(nèi)存。在線彈性擴(kuò)展 系統(tǒng)采用模塊化結(jié)構(gòu)設(shè)計，擴(kuò)容非常方便，既可滿足當(dāng)前的需要又可實現(xiàn)今后系統(tǒng)發(fā)展平滑擴(kuò)展。系統(tǒng)支持不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點實現(xiàn)擴(kuò)容，最大容量僅受元數(shù)據(jù)內(nèi)存限制。同時，云存儲系統(tǒng)擴(kuò)展時，對上層業(yè)務(wù)系統(tǒng)是透明的，業(yè)務(wù)系統(tǒng)可根據(jù)需要對配額進(jìn)行調(diào)整，而不需要管理新增空間。 根據(jù)不同的需要，可以分別擴(kuò)展不同的設(shè)備，最大限度的降低設(shè)備成本。比如監(jiān)視和回放的客戶端需求變多，就增加流媒體服務(wù)器，存儲文件的數(shù)量變多，就擴(kuò)展元數(shù)據(jù)服務(wù)器，存儲空間變大，就擴(kuò)展數(shù)據(jù)節(jié)點。 數(shù)據(jù)節(jié)點的磁盤配置也非常靈活，不需要一次性把硬盤全部配齊，可以以硬盤位單位進(jìn)行逐步增加，空間也以硬盤位單位增加。對于存儲周期很長的系統(tǒng)，比如1年以上，可以先把數(shù)據(jù)節(jié)點配滿，保證系統(tǒng)性能，采用同一個批次的數(shù)據(jù)節(jié)點也容易維護(hù)。而硬盤則可以分期投資，比如初始情況下，每個節(jié)點硬盤都沒有配滿，先保證一段時間的存儲，在滿之前每個節(jié)點均勻直接插入新硬盤即可，可以分多期投入。動態(tài)負(fù)載均衡一個存儲集群內(nèi)部，眾多存儲節(jié)點組建形成的一個統(tǒng)一空間，從整體性能、避免單點故障、數(shù)據(jù)熱點瓶頸等方面，都需要一個良好的動態(tài)負(fù)載均衡功能。動態(tài)負(fù)載均衡指集群內(nèi)部，自動根據(jù)各存儲節(jié)點的IO負(fù)載、空間容量、CPU、內(nèi)存負(fù)載等因素，調(diào)度數(shù)據(jù)流向，實現(xiàn)IO讀寫的負(fù)載均衡。對于存儲數(shù)據(jù)寫入而言，動態(tài)負(fù)載均衡表現(xiàn)為任意時刻，數(shù)據(jù)節(jié)點的寫入負(fù)載是動態(tài)均衡的。元數(shù)據(jù)服務(wù)器根據(jù)各節(jié)點的負(fù)載情況，自動調(diào)度，將新的數(shù)據(jù)寫入調(diào)度到綜合負(fù)載相對較低的節(jié)點，實現(xiàn)整體負(fù)載平衡。對于存儲數(shù)據(jù)讀出，則根據(jù)數(shù)據(jù)分布情況，以及數(shù)據(jù)分布的幾臺設(shè)