【正文】 中國(guó)移動(dòng) 集團(tuán) 級(jí) 重點(diǎn) 研發(fā)項(xiàng)目（含 聯(lián)合 項(xiàng)目 ） 開(kāi)題報(bào)告 一、項(xiàng)目 編號(hào)及 名稱： 項(xiàng)目名稱： NoSQL 數(shù)據(jù)庫(kù)在管理信息系統(tǒng)數(shù)據(jù)存儲(chǔ)及處理的應(yīng)用研究 項(xiàng)目編號(hào)： 2020_JZ_16 二 、 項(xiàng)目組： 三 、 課題背景和意義 當(dāng) 在“一網(wǎng)多包”集中化建設(shè)模式下，隨著南北基地的逐步建成及投入使用，中國(guó)移動(dòng)管理信息系統(tǒng)的大量 IT 應(yīng)用將向全方位集中和整合的方向發(fā)展， 如圖 1 所示， 集中化的 IT應(yīng)用的數(shù)據(jù)存儲(chǔ)呈現(xiàn)數(shù)據(jù)規(guī)模持續(xù)擴(kuò)大、讀寫負(fù)載居高不下、異構(gòu)數(shù)據(jù)種類繁多、非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用深化的特點(diǎn)，對(duì)基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的數(shù) 據(jù)存儲(chǔ)管理形成極大的壓力和挑戰(zhàn)。 ? 非結(jié)構(gòu)化數(shù)據(jù)廣泛? 讀寫負(fù)載居高不下? 異構(gòu)數(shù)據(jù)種類繁多? 數(shù)據(jù)規(guī)模持續(xù)擴(kuò)大集中化的數(shù)據(jù)存儲(chǔ)主要問(wèn)題I P/ I T 統(tǒng)一支撐網(wǎng)I P/ I T 統(tǒng)一支撐網(wǎng)基礎(chǔ)資源支撐運(yùn)營(yíng)和管理支撐服務(wù)支撐開(kāi)發(fā)測(cè)試支撐保障支撐應(yīng)用服務(wù)包應(yīng)用服務(wù)包行業(yè)應(yīng)用服務(wù)包 綜合應(yīng)用服務(wù)包 ICT 應(yīng)用服務(wù)包… … …包 包 包 包 包 包 包 包 包應(yīng)用服務(wù)包應(yīng)用服務(wù)包行業(yè)應(yīng)用服務(wù)包 綜合應(yīng)用服務(wù)包 應(yīng)用服務(wù)包… … …包包 包包 包包 包包 包包 包包 包包 包包 包包A 省用戶 B 省用戶 C 省用戶 集團(tuán)用戶基礎(chǔ)資源支撐 —— 集中化的數(shù)據(jù)存儲(chǔ)資源 圖 1. “一網(wǎng)多包”模式下集中化數(shù)據(jù)存儲(chǔ)的問(wèn)題 這些矛盾在需要進(jìn)行大規(guī)模數(shù)據(jù)綜合分析處理的管理決策支持系統(tǒng)表現(xiàn)得尤為突出 ，如圖 2 所示。 ? 使用了大量的數(shù)學(xué)模型對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析，計(jì)算復(fù)雜度高，需要大量的并行計(jì)算以提高計(jì)算和分析的效率；? 傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的聚合查詢性能較低，對(duì)并行分析計(jì)算支持較差，導(dǎo)致分析 耗時(shí)很長(zhǎng)，難以滿足快速及時(shí)分析的需要；? 需要處理的數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量龐大，如僅廣東一省資產(chǎn)數(shù)據(jù)就達(dá) 9700 萬(wàn)條，并且很多數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，如公文文本、即時(shí)消息、論壇發(fā)帖、博客日志等；? 傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)構(gòu)更改困難、容量可擴(kuò)展性較差，難以滿足未來(lái)海量數(shù)據(jù)存儲(chǔ)的需要；數(shù)據(jù)存儲(chǔ)的問(wèn)題數(shù)據(jù)存儲(chǔ)的問(wèn)題 并行分析的需求并行分析的需求管理決策支持系統(tǒng)為例 圖 2. 大規(guī)模數(shù)據(jù)分析 /處理需求和問(wèn)題 1. 管理決策支持系統(tǒng)主要對(duì)來(lái)自企業(yè)各 ERP 系統(tǒng)的經(jīng)營(yíng)數(shù)據(jù)和財(cái)務(wù)數(shù)據(jù)進(jìn)行綜合分析，隨著分析功能的提升和信息系統(tǒng)集中化發(fā)展，未來(lái)還需要對(duì)來(lái)自公司內(nèi)部三域的海量細(xì)粒度數(shù)據(jù)以及各種 應(yīng)用的海量數(shù)據(jù)進(jìn)行挖掘分析，需要處理的數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量龐大，如僅廣東一省資產(chǎn)數(shù)據(jù)就達(dá) 9700 萬(wàn)條，并且 很多數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，如公文文本、即時(shí)消息、論壇發(fā)帖、博客日志等。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)構(gòu)更改困難、容量可擴(kuò)展性較差，難以滿足未來(lái)海量數(shù)據(jù)存儲(chǔ)的需要。 2. 管理決策支持系統(tǒng)中使用了大量的數(shù)學(xué)模型對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析，計(jì)算復(fù)雜度大，而傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的聚合查詢性能較低，對(duì)并行分析計(jì)算支持較差，導(dǎo)致分析耗時(shí)很長(zhǎng)，難以滿足快速及時(shí)分析的需要。 上述數(shù)據(jù)存儲(chǔ)和分析計(jì)算能力的不足，已經(jīng)限制了管理信息系統(tǒng)的發(fā)展。近年來(lái)， NoSQL數(shù)據(jù)庫(kù)技術(shù) 得到了 快速發(fā)展和廣泛應(yīng)用， NoSQL 數(shù)據(jù)庫(kù)是一類非關(guān)系型的、分布式的、 且一般不保證遵循 ACID 原則的數(shù)據(jù)儲(chǔ)存系統(tǒng)； NoSQL 系統(tǒng)舍棄了一些 SQL 標(biāo)準(zhǔn)中的功能，取而代之的是提供了一些簡(jiǎn)單靈活的功能， 通過(guò)對(duì)數(shù)據(jù)操作的盡量簡(jiǎn)化，從而讓操作效率可以預(yù)知； 如圖 3 所示， NoSQL 數(shù)據(jù)庫(kù)技術(shù)所具有的大容量、高性能、高擴(kuò)展等關(guān)鍵特性，可以為大數(shù)據(jù)存儲(chǔ)與分析處理提供較好的數(shù)據(jù)存儲(chǔ)的支撐； 大規(guī)模高負(fù)載可擴(kuò) 展的異構(gòu)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理和分析處理帶來(lái)較好的技術(shù)手段。 大規(guī)模數(shù)據(jù)存儲(chǔ)能力? N o S Q L 通常采用分布式、集群化的數(shù)據(jù)存儲(chǔ)模式，為數(shù)據(jù)存儲(chǔ)能力的擴(kuò)充提供了基礎(chǔ)；? 通過(guò)分權(quán)分域管理，云存儲(chǔ)每個(gè)域有數(shù)十個(gè)存儲(chǔ)節(jié)點(diǎn)，并可以擴(kuò)展數(shù)百個(gè)域，整個(gè)存儲(chǔ)容量可以達(dá)到數(shù)十個(gè) PB ；高效的數(shù)據(jù)讀寫支持? 在分布式的數(shù)據(jù)存儲(chǔ)架構(gòu)下，每個(gè)存儲(chǔ)節(jié)點(diǎn)可以提供并行的數(shù)據(jù)讀寫服務(wù)，整體性能可以隨存儲(chǔ)節(jié)點(diǎn)增加而增大，實(shí)現(xiàn)高效的數(shù)據(jù)讀寫；? 在分布式數(shù)據(jù)的管理方面，很多 N o S Q L 數(shù)據(jù)庫(kù)針對(duì)讀寫操作進(jìn)行了優(yōu)化，提高對(duì)數(shù)據(jù)讀寫的支持；按需的彈性可擴(kuò)展? 云存儲(chǔ)具有自愈能力，其增加和刪除存儲(chǔ)節(jié)點(diǎn)無(wú)需人為操作，存儲(chǔ)空間彈性擴(kuò)充容易；? 當(dāng)系統(tǒng)存儲(chǔ)容量不足 / 過(guò)多時(shí)，可以通過(guò)增加 / 刪除存儲(chǔ)節(jié)點(diǎn)進(jìn)行調(diào)節(jié)。系統(tǒng)識(shí)別存儲(chǔ)節(jié)點(diǎn)所屬的元數(shù)據(jù)管理空間，然后自動(dòng)地分配數(shù)據(jù)到新節(jié)點(diǎn)上； 圖 3. NoSQL 數(shù)據(jù)庫(kù)技術(shù)的特征 本課題基于管理信息系統(tǒng)大數(shù)據(jù)存儲(chǔ)與分析處理應(yīng)用的需求，對(duì)利用 NoSQL 數(shù)據(jù)庫(kù)技術(shù)提 升管理信息系統(tǒng)的數(shù)據(jù)存儲(chǔ)能力和相關(guān)分析模型的計(jì)算性能進(jìn)行研究。本課題將基于管理信息系統(tǒng)大數(shù)據(jù)存儲(chǔ)與分析處理應(yīng)用的需求，重點(diǎn)考慮多源異構(gòu)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理和分析應(yīng)用，結(jié)合 NoSQL 數(shù)據(jù)庫(kù)的相關(guān)技術(shù)及產(chǎn)品，設(shè)計(jì)新一代管理信息系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)的演進(jìn)方案，提出面向大數(shù)據(jù)分析的 NoSQL 數(shù)據(jù)庫(kù)應(yīng)用技術(shù)方法，完成實(shí)驗(yàn)平臺(tái)搭建及相關(guān)應(yīng)用數(shù)據(jù)存儲(chǔ)和分析處理業(yè)務(wù)的測(cè)驗(yàn)，為解決集中化后管理信息系統(tǒng)各應(yīng)用的數(shù)據(jù)存儲(chǔ)和分析處理提供參考和支撐。 本項(xiàng)目研究的意義主要體現(xiàn)在四個(gè)方面： 按照管理信息系統(tǒng)數(shù)據(jù)存儲(chǔ)和分析應(yīng)用 需求，對(duì)業(yè)界主流的 NoSQL 數(shù)據(jù)庫(kù)發(fā)展現(xiàn)狀和應(yīng)用部署方案進(jìn)行調(diào)研、分析和比較，選出契合管理信息系統(tǒng)實(shí)際應(yīng)用需求的 NoSQL 數(shù)據(jù)庫(kù)； 整理管理信息系統(tǒng)各 IT 應(yīng)用的現(xiàn)有數(shù)據(jù)存儲(chǔ)方案和性能瓶頸，設(shè)計(jì)基于 NoSQL 數(shù)據(jù)庫(kù)的管理信息系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)，并給出實(shí)施方案； 根據(jù)管理信息系統(tǒng)大數(shù)據(jù)分析需求，構(gòu)建基于 NoSQL 數(shù)據(jù)庫(kù)的應(yīng)用方案，對(duì)管理決策支持系統(tǒng)分析模型庫(kù)的數(shù)據(jù)挖掘算法進(jìn)行并行計(jì)算改造試點(diǎn)，實(shí)現(xiàn)管理決策支持模型庫(kù)的大數(shù)據(jù)分析能力； 基于選定的 NoSQL 數(shù)據(jù)庫(kù)產(chǎn)品搭建實(shí)驗(yàn)平臺(tái)，對(duì)管理決策支持系統(tǒng)相關(guān)分 析主題的數(shù)據(jù)存儲(chǔ)和分析處理業(yè)務(wù)進(jìn)行測(cè)試驗(yàn)證，為相關(guān)業(yè)務(wù)能力的提升提供參考和依據(jù)。 四、課題研究目標(biāo) 本課題將立足于管理信息系統(tǒng)大數(shù)據(jù)存儲(chǔ)與分析處理應(yīng)用的需求，重點(diǎn)考慮多源異構(gòu)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理和分析應(yīng)用，結(jié)合 NoSQL 數(shù)據(jù)庫(kù)的相關(guān)技術(shù)及產(chǎn)品，提出面向大數(shù)據(jù)分析的 NoSQL 數(shù)據(jù)庫(kù)應(yīng)用方法，完成應(yīng)用架構(gòu)設(shè)計(jì)、實(shí)驗(yàn)平臺(tái)搭建及典型分析處理業(yè)務(wù)的測(cè)驗(yàn)，為解決集中化后管理信息系統(tǒng)各應(yīng)用的數(shù)據(jù)存儲(chǔ)和分析處理提供參考和支撐； 如圖 4 所示， 在應(yīng)用研究的整體目標(biāo)下，又分為 NoSQL 數(shù)據(jù)庫(kù)技術(shù)選型原則、面向數(shù)據(jù) 存儲(chǔ) /分析的應(yīng)用方案、典型分析算法的改造方法 /規(guī)范等三類具體的目標(biāo)； 基于 N o S QL 數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)及處理的應(yīng)用研究基于 N o S Q L 數(shù)據(jù)庫(kù)技術(shù)、完成面向綜合數(shù)據(jù)存儲(chǔ)與分析的應(yīng)用方法N o SQL 數(shù)據(jù)庫(kù)技術(shù)選型原則 面向數(shù)據(jù)存儲(chǔ) / 分析的應(yīng)用方案– 根據(jù)大數(shù)據(jù)存儲(chǔ)與分析處理的應(yīng)用需求，針對(duì)不同的應(yīng)用場(chǎng)景，設(shè)計(jì)完成相關(guān)的 N o S q l 數(shù)據(jù)庫(kù)的技術(shù)選型原則– 針對(duì)管理信息系統(tǒng)大數(shù)據(jù)存儲(chǔ)與分析處理應(yīng)用的需求，完成基于 N o S Q L 數(shù)據(jù)庫(kù)技術(shù)的數(shù)據(jù)存儲(chǔ) / 分析的應(yīng)用方案典型分析算法的改造方法 / 規(guī)范– 針對(duì)基于 N o S Q L 數(shù)據(jù)庫(kù)的方案，設(shè)計(jì)和驗(yàn)證管理決策系統(tǒng)中現(xiàn)有典型算法的改造方法和相關(guān)規(guī)范 圖 4. 課題研究目標(biāo) 五 、 課題研