【正文】 半結(jié)構(gòu)化數(shù)據(jù)是指那些結(jié)構(gòu)隱含或無(wú)規(guī)則、不嚴(yán)謹(jǐn)?shù)淖晕颐枋鲂蛿?shù)據(jù)，介于嚴(yán)格結(jié)構(gòu)化數(shù)據(jù) (如關(guān)系數(shù)據(jù)庫(kù)和對(duì)象數(shù)據(jù)庫(kù)中的數(shù)據(jù) )和完全無(wú)結(jié)構(gòu)的數(shù)據(jù) (如聲音、圖像文件 )之間，典型的半結(jié)構(gòu)化數(shù)據(jù)包括 XML 文檔，它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起。 數(shù)據(jù)存儲(chǔ)包括關(guān)系型數(shù)據(jù)存儲(chǔ)及非關(guān)系型數(shù)據(jù)存儲(chǔ)，關(guān)系型數(shù)據(jù)存儲(chǔ)采用傳統(tǒng)關(guān)系 型 數(shù)據(jù) 庫(kù) ，非關(guān)系型數(shù)據(jù)存儲(chǔ)采用 MongoDB，根據(jù)采集到數(shù)據(jù)的類型，由數(shù)據(jù)庫(kù)引擎統(tǒng)一處理。 對(duì)于 歸集 公共 基礎(chǔ)數(shù)據(jù) 資源如自然人 庫(kù)等 因?yàn)?數(shù)據(jù)量龐大，具有一次寫入多次讀取特點(diǎn)， 我們 也可支持采用 非 關(guān)系型數(shù)據(jù) 庫(kù) 技術(shù)進(jìn)行存儲(chǔ)。 1．各類型 NoSQL 數(shù)據(jù)庫(kù)比較： 類型 鍵值數(shù)據(jù)庫(kù) 圖存數(shù)據(jù)庫(kù) 列存數(shù)據(jù)庫(kù) 文檔數(shù)據(jù)庫(kù) 相關(guān)產(chǎn)品 Tokyo 、Cabi/Tyrant 、Redis、 Voldemort、Berkeley DB Neo4J、 InfoGrid、 Infinite Graph Cassandra、 HBase、 Riak CouchDB、 MongoDB 數(shù)據(jù)模型 一系列鍵值對(duì)。 以列簇式存儲(chǔ)，將同一列數(shù)據(jù)存在一系列鍵值對(duì)。 典型應(yīng)用 內(nèi)容緩存，適合混合工作負(fù)載并擴(kuò)展大的數(shù)據(jù)集。專注于構(gòu)建關(guān)系圖譜。 Web 應(yīng)用。 利用圖結(jié)構(gòu)相關(guān)算法。 數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格。 需要對(duì)整個(gè)圖做計(jì)算才能得出結(jié)果，不容易做分布式的集群方案。 查詢性能不高，而且缺乏統(tǒng)一的查詢語(yǔ)法。 如果是列存數(shù)據(jù)庫(kù)，則選用 HBase，其屬于 Hadoop 子項(xiàng)目，基于 HDFS，方便與 Hadoop 集成。 2． HBase 與 MongoDB 比較 名稱 HBase MongoDB 類型 列存數(shù)據(jù)庫(kù) 文檔數(shù)據(jù)庫(kù) 存儲(chǔ)位置 每個(gè)列族保存在單獨(dú)的 hdfs文件。 存放順序 基于字典序。 二級(jí)索引 不支持。 集合查找 只三種查找：通過(guò)單個(gè) row key 訪問，通過(guò) row key 的range，全表掃描。 更新方式 另一版本保存下來(lái)。 原地更新。 先標(biāo)記，讀取時(shí)再刪除。 不夠強(qiáng)大，如不使用 MongoDB分片，則實(shí)際不是并行執(zhí)行。 讀寫效率 默認(rèn)適合寫多讀少，可配置。 從索引、查找功能來(lái)說(shuō)， HBase 比較單一，由于不支持二級(jí)索引，某些特殊 8 查詢需要全表掃描，效率會(huì)很慢。 從應(yīng)用場(chǎng)景來(lái)看， HBase 比較適合于擁有超大規(guī)模數(shù)據(jù)的企業(yè)，一般企業(yè)的大數(shù)據(jù)應(yīng)用只需要 MongoDB 即可。 MongoDB 是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫(kù)的。 MongoDB 最大的特點(diǎn)是他支持的查詢語(yǔ)言非常強(qiáng)大，其語(yǔ)法有點(diǎn)類似于面向?qū)ο蟮牟樵冋Z(yǔ)言，幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫(kù)單表查詢的絕大部分功能，而且還支持對(duì)數(shù)據(jù)建立索引。 所以 各 應(yīng)用間 的 數(shù)據(jù) 交換與共享 應(yīng)可 采用 ETL 的 方式 直接橋接，也可 按 原部門分別（邏輯 隔離） 建立 前置機(jī)， 先統(tǒng)一 到部門前置機(jī)，再到中央節(jié)點(diǎn)，反之亦然。 ? 應(yīng)支持與 多種 類型 的數(shù)據(jù) 源及 數(shù)據(jù)格式對(duì)接 的 能力。 ? 應(yīng) 具備 字段級(jí)、 行級(jí)數(shù)據(jù)的處理能力。 云平臺(tái) 外 的 信息 資源交換 統(tǒng)一 云平臺(tái)外的 系統(tǒng) 與數(shù)據(jù)交換平臺(tái)可采用 前置機(jī) 的 方式進(jìn)行對(duì)接和實(shí)施 。同時(shí) 在 9 部門 前置機(jī) 上部署 交換平臺(tái) 節(jié)點(diǎn) 端 ，在 省云平臺(tái)中部署交換平臺(tái)的中心端 。 交換平臺(tái) 的技術(shù)要求 如下 ： ? 應(yīng) 具備多種數(shù)據(jù)抽取模式 ? 應(yīng) 具備 可視化管理 界面，管理 端 應(yīng)采用 B/S 模式 。 ? 應(yīng) 具備 與 主流數(shù)據(jù)庫(kù)對(duì)接能力。 多層次備份能力 交換 共享 平臺(tái)具備組件、服務(wù)、系統(tǒng)等多層次備份和恢復(fù)能力，實(shí)現(xiàn)對(duì)平臺(tái)中各個(gè)模塊和應(yīng)用軟硬件環(huán)境的統(tǒng)一管理；對(duì)中央 節(jié)點(diǎn)、政務(wù)資源 管理 平臺(tái)（ ARC）均 可提供 負(fù)載均衡機(jī)制；對(duì)前置機(jī) 節(jié)點(diǎn)也可 進(jìn)行 熱備支持。 平臺(tái)應(yīng) 提供 中央 節(jié)點(diǎn)的 水平 擴(kuò)展能力， 也 可提供前置節(jié)點(diǎn)的擴(kuò)展能力以支撐部門 調(diào)整或區(qū)域調(diào)整 所需 ， 此外 當(dāng) 面臨 業(yè)務(wù)擴(kuò)展和 業(yè)務(wù) 量的增加， 平臺(tái)均 可 支撐節(jié)點(diǎn)的擴(kuò)展能力并且節(jié)點(diǎn) 數(shù)量 不受限制。 平臺(tái) 提供 數(shù)據(jù)處理 組件的擴(kuò)展能力，能夠根據(jù)業(yè)務(wù)的變化和 數(shù)據(jù) 處理的 復(fù)雜程度，對(duì)數(shù)據(jù)處理組件進(jìn)行定制擴(kuò)展 ，同時(shí)并 不影響 平臺(tái) 的正常使用。同時(shí) 平臺(tái)提供 接口 ，能夠與第三方 負(fù)載 均衡 設(shè)備進(jìn)行 對(duì)接，完成平臺(tái)的 負(fù)載 均衡部署。 ? 根據(jù)業(yè)務(wù)模式，平臺(tái)之間能夠?qū)崿F(xiàn)元數(shù)據(jù)、目錄、應(yīng)用各類信息的互聯(lián)互通。 ? 平臺(tái) 具備多種 數(shù)據(jù) 處理組件， 能夠 具備數(shù)據(jù)交換的 常用組件 ，并且以圖形化拖拽 形式 進(jìn)行配置 ， 不需要 人工編碼 。 提供多種監(jiān)控 手段 ，能夠?qū)ζ脚_(tái)的節(jié)點(diǎn)進(jìn)行監(jiān)控 和 管理 ， 能夠監(jiān)控 交換 平臺(tái)的服務(wù)器運(yùn)行指標(biāo)情況。 數(shù)據(jù)處理與安全 高效傳輸 平臺(tái) 具備多種數(shù)據(jù)抽取能力， 常規(guī) 的功能包括 觸發(fā)器 模式數(shù)據(jù)抽取、時(shí)間戳模式的數(shù)據(jù)抽取、全量模式的數(shù)據(jù)抽取、 標(biāo)識(shí)位模式 的數(shù)據(jù)抽取等。 支持以 圖形化拖拽方式進(jìn)行流程的配置 ， 無(wú)需人工編碼， 簡(jiǎn)化 流程配置步驟，提高 效率 。保障 數(shù)據(jù) 在傳輸過(guò)程中的安全、穩(wěn)定、 可靠 。 不存在單點(diǎn)故障 平臺(tái)由多臺(tái)服務(wù)器共同支撐，同時(shí)用于復(fù)合的業(yè)務(wù)流程中，因此需要對(duì)單點(diǎn)故障進(jìn)行管理，實(shí)現(xiàn)故障切換，金蝶 數(shù)據(jù)資源交換共享平臺(tái) 既 支持 中央 節(jié)點(diǎn)高可用 集群配置，以確保平臺(tái)的高可靠性運(yùn)行及 交換傳輸 過(guò)程數(shù)據(jù) 不丟 。而信息資源目錄是實(shí)現(xiàn)該項(xiàng)目的必要基礎(chǔ)支撐。 政務(wù) 資源管理平臺(tái) 需求 分析 政務(wù)資源管理平臺(tái)包括信息庫(kù)系統(tǒng)和目錄內(nèi)容服務(wù)系統(tǒng)。目錄內(nèi)容服務(wù)系統(tǒng)由共享信息服務(wù)系統(tǒng)、編目系統(tǒng)、目錄傳輸系統(tǒng)、目錄管理系統(tǒng)、目錄服務(wù)系統(tǒng)組成。使用者可通過(guò)目錄服務(wù)對(duì)數(shù)據(jù)信息資源進(jìn)行目錄查詢。 遵照國(guó)家《政務(wù)信息資源目錄體系》，采用成熟的軟件產(chǎn)品和工具，在國(guó)家政務(wù)外網(wǎng)目錄體系框架要求下建設(shè)湖南政務(wù)信息資源目錄體系技術(shù)框架。 元數(shù)據(jù)服務(wù)器、元數(shù)據(jù)網(wǎng)關(guān)按照《政務(wù)信息資源目錄體系第 2 部分：技術(shù)要求》中對(duì)數(shù)據(jù)資源目錄接口和交換服務(wù)目錄接口的規(guī)定進(jìn)行實(shí)現(xiàn)，并對(duì)外界系統(tǒng)用戶提供系統(tǒng)查詢服務(wù)。 （ 2）建設(shè)思路 本次建設(shè)將視具體情況選擇特定部門的信息資源為基礎(chǔ)，建設(shè)信息資源目錄體系的技術(shù)框架，實(shí)現(xiàn)相關(guān)政務(wù)信息資源的編目，目錄內(nèi)容的注冊(cè)、管理、發(fā)布、查詢等功能，以提供各部門間資源共享為目標(biāo)，形成“資源邏輯集中，物理分散”的共享格局，建立政務(wù)信息資源的共享和開發(fā)利用的基本服務(wù)模式。 1）政務(wù)信息資源編目：目錄體系框架要遵循國(guó)家電子政務(wù)核心元數(shù)據(jù)標(biāo)準(zhǔn)和信息資源分類標(biāo)準(zhǔn)，實(shí)現(xiàn)對(duì)各個(gè)部門的政務(wù)信息資源進(jìn)行編目，采集出元數(shù)據(jù)信息。 3）元數(shù)據(jù)發(fā)布：存儲(chǔ)和審核待發(fā)布的元數(shù)據(jù)、發(fā)布元數(shù)據(jù)。 5）目錄維護(hù)：在湖南外網(wǎng)目錄服務(wù)中心，提供針對(duì)元數(shù)據(jù)、目錄樹的基本的管理 、維護(hù)操作。 13 （ 4）安全要求：目錄體系框架中的政務(wù)信息資源元數(shù)據(jù)，都是面向國(guó)家電子政務(wù)外網(wǎng)用戶完全公開的，因此，各種政務(wù)信息資源目錄也是公開的，外網(wǎng)用戶都可以訪問目錄。 （ 5）元數(shù)據(jù)建庫(kù)標(biāo)準(zhǔn)：政務(wù)信息資源核心元數(shù)據(jù)庫(kù)基于關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)建設(shè)，可以選擇 Oracle、 SQLServer 等主流關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，并利用標(biāo)準(zhǔn)的SQL 進(jìn)行連接。目錄應(yīng)用系統(tǒng)在綜合門戶網(wǎng)站設(shè)有專門的欄目，并且風(fēng)格和整個(gè)網(wǎng)站保持一致。對(duì)當(dāng)用戶在查詢系統(tǒng)中選擇相應(yīng)的目錄或輸入查詢關(guān)鍵詞時(shí)，元數(shù)據(jù)應(yīng)用系統(tǒng)訪問元數(shù)據(jù)網(wǎng)關(guān)，元數(shù)據(jù)網(wǎng)關(guān)檢索節(jié)點(diǎn)的元數(shù)據(jù)，最終返回查詢結(jié)果，查詢系統(tǒng)將查詢結(jié)果顯示在相應(yīng)的結(jié)果頁(yè)面上。信息庫(kù)系統(tǒng)由部門共享信息庫(kù)、部門目錄內(nèi)容信息庫(kù)、目錄中心目錄內(nèi)容管理信息庫(kù)和服務(wù)信息庫(kù)等組成。通過(guò)目錄體系技術(shù)支撐環(huán)境，形成目錄內(nèi)容的提供與服務(wù)鏈；通過(guò)目錄內(nèi)容服務(wù)，依托電子政務(wù)網(wǎng)絡(luò)實(shí)現(xiàn)信息的發(fā)現(xiàn)、定位和共享。 編目子系統(tǒng)采集共享信息庫(kù)的內(nèi)容，包括數(shù)據(jù)集和各類電子文件，并按照元數(shù)據(jù)標(biāo)準(zhǔn)、分類標(biāo)準(zhǔn)和賦碼標(biāo)準(zhǔn)對(duì)信息資源進(jìn)行著錄、分類和賦碼，形成信息資源元數(shù)據(jù)；存儲(chǔ)元數(shù)據(jù)到目錄內(nèi)容信息庫(kù)；將著錄完成的元數(shù)據(jù)發(fā)送到目錄中心。 目錄傳輸子系統(tǒng) 目錄傳輸子系統(tǒng)實(shí)現(xiàn)部門信息資源目錄向省級(jí)目錄中心目錄匯總，以定期、不定期和自動(dòng) /人工等方式進(jìn)行傳輸。應(yīng)提供元數(shù)據(jù)審核、信息資源標(biāo)識(shí)符碼段管理與生成、分類信息管理功能，應(yīng)提供對(duì)目錄管理信息庫(kù)和目錄服務(wù)信息庫(kù)的基本維護(hù)和管理功能。提供目錄服務(wù)接口和信息檢索功能，實(shí)現(xiàn)對(duì)查詢請(qǐng)求信息的解析、元數(shù)據(jù)的快速查詢和查詢結(jié)果的提交。查詢系統(tǒng)應(yīng)提供多種方式實(shí)現(xiàn)對(duì)目錄內(nèi)容的查詢和展現(xiàn)。 政務(wù) 資源管理平臺(tái) 系統(tǒng)設(shè)計(jì) 信息資源目錄子系統(tǒng) 信息資源目錄子系統(tǒng)的建設(shè)，按照統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，將分散在各子平臺(tái)的信 15 息資源進(jìn)行整合和組織，形成邏輯上集中、物理上分散、可統(tǒng)一管理和服務(wù)的信息資源目錄，實(shí)現(xiàn)資源的共享，是公共基礎(chǔ)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)資源共享的有效手段。 信息資源目錄體系 框架 本項(xiàng)目建設(shè)涉及的各類信息資源紛繁復(fù)雜，信息資源來(lái)源多樣且信息資源互相之前存在復(fù)雜的相互聯(lián)系。信息資源目錄體系建設(shè)的總體思路和流程如下圖所示： 信息資源目錄體系框架 如上圖所示，信息資源目錄體系建設(shè)流程如下： 1．對(duì)信息資源進(jìn)行總體分析，從信息資源的來(lái)源、形態(tài)和內(nèi)在的業(yè)務(wù)含義對(duì)本工程信息資源進(jìn)行整體分析，從而確定信息指標(biāo)代碼體系、信息資源分類和編碼體系以及確定元數(shù)據(jù)規(guī)劃框架。 3．在信息資源綜合分析的基礎(chǔ)上確定數(shù)據(jù)的業(yè)務(wù)主題分類并制定編碼規(guī)范，保證數(shù)據(jù)在通過(guò)資源目錄體系進(jìn)行瀏覽時(shí)的唯一性。 4．在信息資源各類規(guī)劃過(guò)程中，始終貫徹著元數(shù)據(jù)規(guī)劃，使用元數(shù)據(jù)對(duì)系統(tǒng)中的各類數(shù)據(jù)元、指標(biāo)、信息資源目錄、使用的技術(shù)等進(jìn)行描述，最終指導(dǎo)數(shù)據(jù)中心元數(shù)據(jù)庫(kù)的建設(shè)。 信息資源目錄服務(wù)主要面向應(yīng)用于業(yè)務(wù)人員信息查詢、信息發(fā)布與外部系統(tǒng)的交互。因此要求目錄服務(wù)系統(tǒng)提供相應(yīng)的查找、瀏覽、操作、建立個(gè)性化的目錄關(guān)聯(lián)功能。 信息資源目錄的系統(tǒng)管理員負(fù)責(zé)目錄服務(wù)系統(tǒng)的各種功能維護(hù)與技術(shù) 支持。信息資源本身具有特定的含義，根據(jù)含義主題的不同，對(duì)政務(wù)信息資源進(jìn)行分類。信息資源的生產(chǎn)具有特定的部門或行業(yè)背景，根據(jù)部門或行業(yè)的不同，對(duì)政務(wù)信息資源進(jìn)行分類。信息資源可以為使用者提供特定的服務(wù)。 根據(jù)以上四 個(gè)面對(duì)信息資源進(jìn)行分類，相應(yīng)地產(chǎn)生了主題分類、行業(yè)分類、服務(wù)分類和資源形態(tài)分類四種分類。行業(yè)分類、服務(wù)分類和資源形態(tài)分類為輔助性分類。 元數(shù)據(jù)服務(wù)分類行業(yè)分類主題分類資源形態(tài)分類內(nèi)容特征外部特征用戶實(shí)施人員 18 信息資源編目管理子系統(tǒng) 信息資源編目管理子系統(tǒng)作為公共基礎(chǔ)平臺(tái)信息資源目錄體系的載體，采用一種非落地的信息共享模式，是對(duì)交換共享模式的補(bǔ) 充，在目錄式共享中，各子平臺(tái)對(duì)各自共享的資源有完整的控制權(quán)，可有效地解決交換模式中各子平臺(tái)因擔(dān)心違反相關(guān)規(guī)定不愿意批量提供數(shù)據(jù)的問題。 整個(gè)編碼字典可以支持多級(jí)管理體系，能夠統(tǒng)一制定編碼字典模版，建立行業(yè)統(tǒng)一編碼，管理編碼的標(biāo)準(zhǔn)，確定各類基礎(chǔ)編碼、指標(biāo)的編碼，對(duì)需要統(tǒng)一管理的編碼進(jìn)行維護(hù)及發(fā)布更新。對(duì)于長(zhǎng)期作廢的編碼可以通過(guò)激活方式確定編碼是否可用。 簡(jiǎn)碼是為了在錄入和選擇時(shí)更方便的操作而設(shè)定的編碼，作為提高工作效率的碼，由各應(yīng)用系統(tǒng)的用戶各自維護(hù)。 編碼規(guī)則采取線分類法，將分類對(duì)象 (即被劃分的事物或概念 )按所選定的若干個(gè)屬性或特征逐次地分成相應(yīng)的若干個(gè)層級(jí)的類目，并排成一個(gè)有層次的，逐漸展開的分類體系。同位類類目之間存在著并列關(guān)系，下位類與上位類類目之間存在著隸屬關(guān)系。 中文全拼：對(duì)編碼的中文拼音描述。 樹葉判別：是系統(tǒng)內(nèi)部的一個(gè)識(shí)別碼，前面說(shuō)過(guò)編碼字典采用的是樹狀結(jié)構(gòu)，樹支和樹葉就是通過(guò)‘樹葉判別’來(lái)實(shí)現(xiàn)的。 顯示序號(hào)：是一個(gè)排列順序。 是否激活標(biāo)志：確認(rèn)編碼是否激活，在統(tǒng)計(jì)、查詢中是否作為可用指 標(biāo)的標(biāo)志。 編碼管理規(guī)則 多級(jí)編碼維護(hù) 對(duì)編碼進(jìn)行多級(jí)管理。 管理流程 在多級(jí)編碼體系下，工業(yè)和信息化部電信研究院通過(guò)權(quán)限控制實(shí)現(xiàn)對(duì)全系統(tǒng)的編碼進(jìn)行管理，只有工業(yè)和信息化部電信研究院為下級(jí)單位分配了可操作權(quán)限，下級(jí)單位才能對(duì)編碼進(jìn)行維護(hù)，否則只能讀取和使用編碼。 沒有獲得操作權(quán)限的下級(jí)單位，只能查詢和使用編碼，不能維護(hù)。 元數(shù)據(jù)設(shè)計(jì) 元數(shù)據(jù)分類 元數(shù)據(jù)是描述數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)的 結(jié)構(gòu)和建立方法的數(shù)據(jù)，重要的元數(shù)據(jù)包括數(shù)據(jù)源結(jié)構(gòu)、目標(biāo)數(shù)據(jù)庫(kù)結(jié)構(gòu)、數(shù)據(jù)轉(zhuǎn)換規(guī)則等。 技術(shù)元數(shù)據(jù)是數(shù)據(jù)庫(kù)的設(shè)計(jì)和管理人員用于開發(fā)和日常管理數(shù)據(jù)庫(kù)使用的數(shù)據(jù)。 數(shù)據(jù)備份歷史記錄。 業(yè)務(wù)元數(shù)據(jù)從共享信息資源建設(shè)的業(yè)務(wù)應(yīng)用的角度描述了共享數(shù)據(jù)庫(kù)中的數(shù)據(jù)。 操作元數(shù)據(jù)描述數(shù)據(jù)庫(kù)的維護(hù)及數(shù)據(jù)更新策略，包括數(shù)據(jù)庫(kù)數(shù)據(jù)刷新頻度、用戶訪問權(quán)限、備份和恢復(fù)的規(guī)則、存儲(chǔ)管理規(guī)則、數(shù)據(jù)導(dǎo)入導(dǎo)出的歷史記錄、數(shù)據(jù)庫(kù)狀態(tài)管理和數(shù)據(jù)庫(kù)審計(jì)。 經(jīng)過(guò)整理，相關(guān)的數(shù)據(jù)集元數(shù)據(jù)如下表： 名稱 /角色名稱（中文） 名稱 /角色名稱（英文） 定義 約束 /條件 最 大出現(xiàn)次數(shù) 數(shù)據(jù)類型 數(shù)據(jù)集名稱