【正文】 設(shè)計(jì)原則 大數(shù)據(jù) 融合 擴(kuò)展 設(shè)計(jì) 考量 金蝶天燕 數(shù)據(jù)系列產(chǎn)品支持與大數(shù)據(jù)的融合。 可視乎 客戶需要與數(shù)據(jù)規(guī)?？梢灾С謧鹘y(tǒng)關(guān)系型數(shù)據(jù)庫(kù) ， 也 支持 以大數(shù)據(jù)存儲(chǔ) 歸集 數(shù)據(jù)以降低存儲(chǔ)成本，提高歸集數(shù)據(jù)資源的檢索統(tǒng)計(jì)速度。 大數(shù)據(jù)存儲(chǔ)需要涵蓋的數(shù)據(jù)類型主要有三類：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和基礎(chǔ)資源業(yè)務(wù)應(yīng)用系統(tǒng)網(wǎng)絡(luò)資源 硬件資源 操作系統(tǒng) 業(yè)務(wù)數(shù)據(jù)庫(kù)X X X 資源門戶 X X X 政府網(wǎng)站 X X X 應(yīng)用系統(tǒng) X X X 服務(wù)系統(tǒng)政務(wù)數(shù)據(jù)資源共享平臺(tái)統(tǒng)一資源管理運(yùn)行中心統(tǒng)一標(biāo)準(zhǔn)規(guī)范體系安全體系資源分類與管理 ( A R C )資源交換與共享 ( A D X P )資源接入與處理 ( A E T L )業(yè)務(wù)橋接 清洗 \ 轉(zhuǎn)換 數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)交換 數(shù)據(jù)共享 監(jiān)控管理數(shù)據(jù)分類 數(shù)據(jù)管理 數(shù)據(jù)服務(wù)統(tǒng)一監(jiān)控安全審計(jì)安全認(rèn)證容災(zāi)備份通道安全提供服務(wù)企業(yè) \ 團(tuán)體 公眾 政府 \ 機(jī)構(gòu) 行業(yè) 6 半結(jié)構(gòu)化數(shù)據(jù)。 結(jié)構(gòu)化數(shù)據(jù)是指有數(shù)據(jù)結(jié)構(gòu)描述信息的數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)通常情況是先有數(shù)據(jù)結(jié)構(gòu)、再有數(shù)據(jù)填充，典型的結(jié)構(gòu)化數(shù)據(jù)包括各類表格數(shù)據(jù)。 非結(jié)構(gòu)化數(shù)據(jù)是不方便用固定結(jié)構(gòu)來(lái)表現(xiàn)的數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)一般只有數(shù)據(jù)填充而沒有數(shù)據(jù)結(jié)構(gòu)，典型的非結(jié)構(gòu)化數(shù)據(jù)包括各種圖形、圖像、音頻、視頻信息。 半結(jié)構(gòu)化數(shù)據(jù)是指那些結(jié)構(gòu)隱含或無(wú)規(guī)則、不嚴(yán)謹(jǐn)?shù)淖晕颐枋鲂蛿?shù)據(jù)，介于嚴(yán)格結(jié)構(gòu)化數(shù)據(jù) (如關(guān)系數(shù)據(jù)庫(kù)和對(duì)象數(shù)據(jù)庫(kù)中的數(shù)據(jù) )和完全無(wú)結(jié)構(gòu)的數(shù)據(jù) (如聲音、圖像文件 )之間，典型的半結(jié)構(gòu)化數(shù)據(jù)包括 XML 文檔，它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起。 數(shù)據(jù)庫(kù)是存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)通常采用的軟件系統(tǒng)，從技術(shù)上數(shù)據(jù)庫(kù)可以分為關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)兩類，在解決大數(shù)據(jù)存儲(chǔ)問(wèn)題時(shí)“非關(guān)系 型”數(shù)據(jù)庫(kù)技術(shù)是必不可少的，但是關(guān)系型數(shù)據(jù)庫(kù)也是不可或缺的。 數(shù)據(jù)存儲(chǔ)包括關(guān)系型數(shù)據(jù)存儲(chǔ)及非關(guān)系型數(shù)據(jù)存儲(chǔ)，關(guān)系型數(shù)據(jù)存儲(chǔ)采用傳統(tǒng)關(guān)系 型 數(shù)據(jù) 庫(kù) ，非關(guān)系型數(shù)據(jù)存儲(chǔ)采用 MongoDB，根據(jù)采集到數(shù)據(jù)的類型，由數(shù)據(jù)庫(kù)引擎統(tǒng)一處理。 對(duì)于政務(wù) 數(shù)據(jù)交換管理 平臺(tái)配置信息、權(quán)限數(shù)據(jù)、 交換流程業(yè)務(wù)信息 等基本信息數(shù)據(jù)，更新操作可能會(huì)較為頻繁，且數(shù)據(jù)量不大，采用傳統(tǒng)關(guān)系 型 數(shù)據(jù) 庫(kù) 進(jìn)行存儲(chǔ)。 對(duì)于 歸集 公共 基礎(chǔ)數(shù)據(jù) 資源如自然人 庫(kù)等 因?yàn)?數(shù)據(jù)量龐大，具有一次寫入多次讀取特點(diǎn)， 我們 也可支持采用 非 關(guān)系型數(shù)據(jù) 庫(kù) 技術(shù)進(jìn)行存儲(chǔ)。 對(duì)于資源運(yùn)行時(shí)信 息，數(shù)據(jù)量較為龐大，具有一次寫入多次讀取的特點(diǎn)，宜采用 NoSQL 存儲(chǔ)。 1．各類型 NoSQL 數(shù)據(jù)庫(kù)比較： 類型 鍵值數(shù)據(jù)庫(kù) 圖存數(shù)據(jù)庫(kù) 列存數(shù)據(jù)庫(kù) 文檔數(shù)據(jù)庫(kù) 相關(guān)產(chǎn)品 Tokyo 、Cabi/Tyrant 、Redis、 Voldemort、Berkeley DB Neo4J、 InfoGrid、 Infinite Graph Cassandra、 HBase、 Riak CouchDB、 MongoDB 數(shù)據(jù)模型 一系列鍵值對(duì)。 圖結(jié)構(gòu)。 以列簇式存儲(chǔ)，將同一列數(shù)據(jù)存在一系列鍵值對(duì)。 7 一起。 典型應(yīng)用 內(nèi)容緩存，適合混合工作負(fù)載并擴(kuò)展大的數(shù)據(jù)集。 社交網(wǎng)絡(luò)，推薦系統(tǒng)等。專注于構(gòu)建關(guān)系圖譜。 分布式的文件系統(tǒng)。 Web 應(yīng)用。 優(yōu)勢(shì) 快速查詢。 利用圖結(jié)構(gòu)相關(guān)算法。 查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布式擴(kuò)展。 數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格。 劣勢(shì) 存儲(chǔ)的數(shù)據(jù)缺少結(jié)構(gòu)化。 需要對(duì)整個(gè)圖做計(jì)算才能得出結(jié)果，不容易做分布式的集群方案。 功能相對(duì)局限。 查詢性能不高，而且缺乏統(tǒng)一的查詢語(yǔ)法。 鍵值數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)缺少結(jié)構(gòu)化，圖存數(shù)據(jù)庫(kù)不用考慮。 如果是列存數(shù)據(jù)庫(kù)，則選用 HBase，其屬于 Hadoop 子項(xiàng)目，基于 HDFS，方便與 Hadoop 集成。 如果是文檔數(shù)據(jù)庫(kù)，則選用 MongoDB，因其查詢比較靈活，而 CouchDB 不支持動(dòng)態(tài)查詢，必須為每一個(gè)查詢模式建立相應(yīng)的 view，并在此 view 的基礎(chǔ)上進(jìn)行查詢。 2． HBase 與 MongoDB 比較 名稱 HBase MongoDB 類型 列存數(shù)據(jù)庫(kù) 文檔數(shù)據(jù)庫(kù) 存儲(chǔ)位置 每個(gè)列族保存在單獨(dú)的 hdfs文件。 整個(gè)數(shù)據(jù)都存在磁盤中。 存放順序 基于字典序。 按插入順序。 二級(jí)索引 不支持。 支持。 集合查找 只三種查找：通過(guò)單個(gè) row key 訪問(wèn)，通過(guò) row key 的range，全表掃描。 正則查找，范圍查找，支持 skip和 limit 等等，是最像 mysql的 nosql 數(shù)據(jù)庫(kù)。 更新方式 另一版本保存下來(lái)。默認(rèn)歷史數(shù)量為 3。 原地更新。 刪除方式 先標(biāo)記， insert 新數(shù)據(jù)時(shí)分配合適的已刪除記錄空間。 先標(biāo)記，讀取時(shí)再刪除。 MapReduce 基于 Hadoop，強(qiáng)大。 不夠強(qiáng)大，如不使用 MongoDB分片，則實(shí)際不是并行執(zhí)行?？赏ㄟ^(guò) MongoHadoop的數(shù)據(jù)中間件與 Hadoop 集成。 讀寫效率 默認(rèn)適合寫多讀少，可配置。 讀效率比寫高。 從索引、查找功能來(lái)說(shuō)， HBase 比較單一，由于不支持二級(jí)索引，某些特殊 8 查詢需要全表掃描，效率會(huì)很慢。 從 MapReduce 方面來(lái)說(shuō)， HBase 可以與 Hadoop 完美配合，較 MongoDB 方便很多。 從應(yīng)用場(chǎng)景來(lái)看， HBase 比較適合于擁有超大規(guī)模數(shù)據(jù)的企業(yè)，一般企業(yè)的大數(shù)據(jù)應(yīng)用只需要 MongoDB 即可。 綜上所述，本平臺(tái) 建設(shè) 可 考慮 采用 MongDB 做為非關(guān)系型數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)庫(kù)。 MongoDB 是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫(kù)的。他支持的數(shù)據(jù)結(jié)構(gòu)非常松散，是類似json 的 bson 格式，因此可以存儲(chǔ)比較復(fù)雜的數(shù)據(jù)類型。 MongoDB 最大的特點(diǎn)是他支持的查詢語(yǔ)言非常強(qiáng)大，其語(yǔ)法有點(diǎn)類似于面向?qū)ο蟮牟樵冋Z(yǔ)言，幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫(kù)單表查詢的絕大部分功能，而且還支持對(duì)數(shù)據(jù)建立索引。 云平臺(tái)環(huán)境適配 支持 云平臺(tái) 內(nèi) 的信息 資源交換 湖南省各部門 系統(tǒng)統(tǒng)一遷移到 云平臺(tái) 后，由于處于統(tǒng)一 云平臺(tái) 環(huán)境 且 處于統(tǒng)一網(wǎng)絡(luò)環(huán)境下， 不 存 在 跨網(wǎng)絡(luò)和跨節(jié)點(diǎn)層級(jí)的情況。 所以 各 應(yīng)用間 的 數(shù)據(jù) 交換與共享 應(yīng)可 采用 ETL 的 方式 直接橋接，也可 按 原部門分別（邏輯 隔離） 建立 前置機(jī)， 先統(tǒng)一 到部門前置機(jī)，再到中央節(jié)點(diǎn)，反之亦然。 ETL 工具 應(yīng)具備如下技術(shù)要求： ? 應(yīng)具備 復(fù)雜 數(shù)據(jù)的轉(zhuǎn)換 與清洗能力。 ? 應(yīng)支持與 多種 類型 的數(shù)據(jù) 源及 數(shù)據(jù)格式對(duì)接 的 能力。 ? 應(yīng)具備圖形化 界面的能力，具備 豐富 的數(shù)據(jù)計(jì)算 和 處理的組件。 ? 應(yīng) 具備 字段級(jí)、 行級(jí)數(shù)據(jù)的處理能力。 ? 應(yīng) 具備 從流程 開發(fā)到 項(xiàng)目運(yùn)維的各種 功能。 云平臺(tái) 外 的 信息 資源交換 統(tǒng)一 云平臺(tái)外的 系統(tǒng) 與數(shù)據(jù)交換平臺(tái)可采用 前置機(jī) 的 方式進(jìn)行對(duì)接和實(shí)施 。要求 各部門的應(yīng)用 系統(tǒng) 將 交換共享的數(shù)據(jù)統(tǒng)一 推送 到前置機(jī) 的數(shù)據(jù)庫(kù)中。同時(shí) 在 9 部門 前置機(jī) 上部署 交換平臺(tái) 節(jié)點(diǎn) 端 ，在 省云平臺(tái)中部署交換平臺(tái)的中心端 。由前置機(jī)的 交換 平臺(tái)抽取 數(shù)據(jù) 并與云平臺(tái)中的交換平臺(tái)完成 整個(gè) 數(shù)據(jù)的 交換 。 交換平臺(tái) 的技術(shù)要求 如下 ： ? 應(yīng) 具備多種數(shù)據(jù)抽取模式 ? 應(yīng) 具備 可視化管理 界面，管理 端 應(yīng)采用 B/S 模式 。 ? 應(yīng) 具備一定的數(shù)據(jù)轉(zhuǎn)換能力。 ? 應(yīng) 具備 與 主流數(shù)據(jù)庫(kù)對(duì)接能力。 ? 應(yīng) 具備安全可靠的 數(shù)據(jù) 傳輸能力。 多層次備份能力 交換 共享 平臺(tái)具備組件、服務(wù)、系統(tǒng)等多層次備份和恢復(fù)能力，實(shí)現(xiàn)對(duì)平臺(tái)中各個(gè)模塊和應(yīng)用軟硬件環(huán)境的統(tǒng)一管理；對(duì)中央 節(jié)點(diǎn)、政務(wù)資源 管理 平臺(tái)（ ARC）均 可提供 負(fù)載均衡機(jī)制；對(duì)前置機(jī) 節(jié)點(diǎn)也可 進(jìn)行 熱備支持。 可擴(kuò)展能力 根據(jù)平臺(tái)所接入應(yīng)用、服務(wù)、數(shù)據(jù)的變化，平臺(tái)具備擴(kuò)展能力，并且所提供的擴(kuò)展方式不影響平臺(tái)工作效率。 平臺(tái)應(yīng) 提供 中央 節(jié)點(diǎn)的 水平 擴(kuò)展能力， 也 可提供前置節(jié)點(diǎn)的擴(kuò)展能力以支撐部門 調(diào)整或區(qū)域調(diào)整 所需 ， 此外 當(dāng) 面臨 業(yè)務(wù)擴(kuò)展和 業(yè)務(wù) 量的增加， 平臺(tái)均 可 支撐節(jié)點(diǎn)的擴(kuò)展能力并且節(jié)點(diǎn) 數(shù)量 不受限制。 平臺(tái) 提供多種接口能力， 能夠 與第三方系統(tǒng)或 平臺(tái) 進(jìn)行對(duì)接 ， 實(shí)現(xiàn)業(yè)務(wù)或平臺(tái)的對(duì)外擴(kuò)展。 平臺(tái) 提供 數(shù)據(jù)處理 組件的擴(kuò)展能力，能夠根據(jù)業(yè)務(wù)的變化和 數(shù)據(jù) 處理的 復(fù)雜程度，對(duì)數(shù)據(jù)處理組件進(jìn)行定制擴(kuò)展 ，同時(shí)并 不影響 平臺(tái) 的正常使用。 負(fù)載均衡能力 根據(jù)平臺(tái)中各模塊的負(fù)載程度，平臺(tái)能夠自動(dòng)進(jìn)行負(fù)載均衡管理。同時(shí) 平臺(tái)提供 接口 ，能夠與第三方 負(fù)載 均衡 設(shè)備進(jìn)行 對(duì)接，完成平臺(tái)的 負(fù)載 均衡部署。 10 模塊靈活配置 ? 平臺(tái)中的各個(gè)模塊可運(yùn)行在不同環(huán)境中，通過(guò)配置能夠使平臺(tái)適應(yīng)不同部門對(duì)平臺(tái)的需求。 ? 根據(jù)業(yè)務(wù)模式，平臺(tái)之間能夠?qū)崿F(xiàn)元數(shù)據(jù)、目錄、應(yīng)用各類信息的互聯(lián)互通。 ? 平臺(tái)的配置可動(dòng)態(tài)改變。 ? 平臺(tái) 具備多種 數(shù)據(jù) 處理組件， 能夠 具備數(shù)據(jù)交換的 常用組件 ，并且以圖形化拖拽 形式 進(jìn)行配置 ， 不需要 人工編碼 。 運(yùn)行監(jiān)控 平臺(tái)提供運(yùn)行監(jiān)控的人機(jī)界面，對(duì)服務(wù)組件進(jìn)行遠(yuǎn)程管理和監(jiān)控。 提供多種監(jiān)控 手段 ，能夠?qū)ζ脚_(tái)的節(jié)點(diǎn)進(jìn)行監(jiān)控 和 管理 ， 能夠監(jiān)控 交換 平臺(tái)的服務(wù)器運(yùn)行指標(biāo)情況。同時(shí)具備多維度的 數(shù)據(jù) 統(tǒng)計(jì) 管理 ，如按照 交換 流程維度、按照 節(jié)點(diǎn)維度等進(jìn)行統(tǒng)計(jì) ， 同時(shí)具備圖表 和 列表 展示 的 能力 。 數(shù)據(jù)處理與安全 高效傳輸 平臺(tái) 具備多種數(shù)據(jù)抽取能力， 常規(guī) 的功能包括 觸發(fā)器 模式數(shù)據(jù)抽取、時(shí)間戳模式的數(shù)據(jù)抽取、全量模式的數(shù)據(jù)抽取、 標(biāo)識(shí)位模式 的數(shù)據(jù)抽取等。 平臺(tái) 應(yīng) 提供 多種數(shù)據(jù)處理組件，能夠支持對(duì)數(shù)據(jù)進(jìn)行處理和計(jì)算。 支持以 圖形化拖拽方式進(jìn)行流程的配置 ， 無(wú)需人工編碼， 簡(jiǎn)化 流程配置步驟，提高 效率 。 平臺(tái) 提供安全可靠的數(shù)據(jù)傳輸能力 且 支持 國(guó)密 算法， 具備安全 的傳輸通道與加密通道。保障 數(shù)據(jù) 在傳輸過(guò)程中的安全、穩(wěn)定、 可靠 。 平臺(tái)提供 高效的數(shù)據(jù)傳輸能力，平臺(tái) 采用 優(yōu)化的分布式消息機(jī)制 與優(yōu)化 的加密 壓縮 算法 進(jìn)行 數(shù)據(jù) 傳輸高效保障 。 不存在單點(diǎn)故障 平臺(tái)由多臺(tái)服務(wù)器共同支撐，同時(shí)用于復(fù)合的業(yè)務(wù)流程中，因此需要對(duì)單點(diǎn)故障進(jìn)行管理，實(shí)現(xiàn)故障切換，金蝶 數(shù)據(jù)資源交換共享平臺(tái) 既 支持 中央 節(jié)點(diǎn)高可用 集群配置，以確保平臺(tái)的高可靠性運(yùn)行及 交換傳輸 過(guò)程數(shù)據(jù) 不丟 。 11 政務(wù)資源 管理平臺(tái) 設(shè)計(jì) 方案 概述 隨著 政府 信息化建設(shè)的數(shù)字化、網(wǎng)絡(luò)化信息的生產(chǎn)速度不斷加快，信息資源總量的急劇膨脹，面對(duì)大量且分散的信息資源，建設(shè)基于網(wǎng)絡(luò)的、以跨部門的信息整合為特征的、可供管委會(huì)領(lǐng)導(dǎo)和各處室工作人員等快速定位、檢索和獲取的信息系統(tǒng)，使各級(jí)信息的使用者在各自的權(quán)限內(nèi)獲取全面、準(zhǔn)確的信息，是深化發(fā)展的重要內(nèi)容。而信息資源目錄是實(shí)現(xiàn)該項(xiàng)目的必要基礎(chǔ)支撐。 信息資源目錄作為統(tǒng)一 數(shù)據(jù) 底庫(kù)和全局共享數(shù)據(jù)庫(kù)的信息資源的管理和服務(wù)中心，按照統(tǒng)一的標(biāo)準(zhǔn)規(guī)范和樹狀結(jié)構(gòu)實(shí)現(xiàn)對(duì)信息資源的采集、分類、描述、處理、展現(xiàn)、應(yīng)用和管理，為信息資源的共享和交換 提供基礎(chǔ)性支撐，實(shí)現(xiàn)對(duì)信息資源的識(shí)別、導(dǎo)航和定位服務(wù)，從而更加有效管理、利用和合理開發(fā)信息資源，提高工作效率、提升服務(wù)水平提供科學(xué)的工具。 政務(wù) 資源管理平臺(tái) 需求 分析 政務(wù)資源管理平臺(tái)包括信息庫(kù)系統(tǒng)和目錄內(nèi)容服務(wù)系統(tǒng)。信息庫(kù)系統(tǒng)由政務(wù)部門的共享信息庫(kù)、目錄內(nèi)容信息庫(kù)和目錄服務(wù)中心的目錄內(nèi)容管理信息庫(kù)、服務(wù)信息庫(kù)組成。目錄內(nèi)容服務(wù)系統(tǒng)由共享信息服務(wù)系統(tǒng)、編目系統(tǒng)、目錄傳輸系統(tǒng)、目錄管理系統(tǒng)、目錄服務(wù)系統(tǒng)組成。需滿足以下要求： 目錄管理子系統(tǒng)實(shí)現(xiàn)對(duì)政務(wù)資源管理平臺(tái)的全部操作，主要用來(lái)管理信息資源目錄，信息資源目錄 對(duì)信息資源進(jìn)行編目形成核心元數(shù)據(jù)，注冊(cè)到整合資源數(shù)據(jù)庫(kù)中，生成數(shù)據(jù)資源目錄。使用者可通過(guò)目錄服務(wù)對(duì)數(shù)據(jù)信息資源進(jìn)行目錄查詢。 目錄管理子系統(tǒng)包括：信息資源元數(shù)據(jù)管理，元數(shù)據(jù)編目、注冊(cè)、發(fā)布；目錄管理，目錄分類、管理維護(hù)；目錄服務(wù)，目錄導(dǎo)航、檢索、展現(xiàn)等。 遵照國(guó)家《政務(wù)信息資源目錄體系》，采用成熟的軟件產(chǎn)品和工具，在國(guó)家政務(wù)外網(wǎng)目錄體系框架要求下建設(shè)湖南政務(wù)信息資源目錄體系技術(shù)框架。 （ 1）遵循的關(guān)鍵性標(biāo)準(zhǔn) 目錄體系框架所遵循的關(guān)鍵性標(biāo)準(zhǔn)包括以下： 12 元數(shù)據(jù)編輯器按照《政務(wù)信息資源目錄體系第 3 部分：核心元數(shù)據(jù)》、《政務(wù)信息資源目錄體系第 4 部分：政務(wù)信息資源分類》、《政務(wù)信息資源目錄體系第 5部分：標(biāo)識(shí)符編碼方案》的標(biāo)準(zhǔn)規(guī)定實(shí)現(xiàn)政務(wù)信息資源元數(shù)據(jù)的編目，并對(duì)所采集的元數(shù)據(jù)的標(biāo)準(zhǔn)符合性進(jìn)行形式化檢查，未通過(guò)標(biāo)準(zhǔn)符合性檢查的元數(shù)據(jù)不能向目錄服務(wù)中心的元數(shù)據(jù)庫(kù)或者本地的元數(shù)據(jù)庫(kù)進(jìn)行注冊(cè)。 元