【文章內(nèi)容簡(jiǎn)介】 **電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)的用戶分為：領(lǐng)導(dǎo)、各部門(mén)、企業(yè)單位及社會(huì)公眾。 政府領(lǐng)導(dǎo)**電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)有價(jià)值的數(shù)據(jù)、行政地圖、決策方法和應(yīng)急進(jìn)行融合，采用大數(shù)據(jù)分析技術(shù)，有利于各級(jí)領(lǐng)導(dǎo)、管理決策人員方便、直觀、形象地進(jìn)行各種分析，從而使統(tǒng)計(jì)決策的科學(xué)化、人性化、智能化管理走上一個(gè)新臺(tái)階。 政府部門(mén)可以向**電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)提供數(shù)據(jù)或使用平臺(tái)提供的數(shù)據(jù)；業(yè)務(wù)部門(mén)之間可以通過(guò)系統(tǒng)平臺(tái)交換共享數(shù)據(jù)；遵循標(biāo)準(zhǔn)規(guī)范進(jìn)行業(yè)務(wù)系統(tǒng)的建造和改進(jìn)，可實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)開(kāi)放共享平臺(tái)的對(duì)接。 社會(huì)公眾可以依托**電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)提供的應(yīng)用服務(wù)對(duì)公眾需求做出快速反應(yīng)，公眾可以更直接廣泛的獲得政府提供的服務(wù)，如證照協(xié)同、社保電子傳遞等。 企業(yè)單位通過(guò)**電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)提供的應(yīng)用服務(wù)可以方11
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案便企業(yè)進(jìn)行業(yè)務(wù)級(jí)信息查詢，并可通過(guò)業(yè)務(wù)協(xié)同對(duì)企業(yè)提供事項(xiàng)審批、信息推送服務(wù)。 業(yè)務(wù)功能分析 數(shù)據(jù)共享在政府部門(mén)內(nèi)部強(qiáng)調(diào)的是共享共用。先把政府部門(mén)內(nèi)部及部門(mén)之間數(shù)據(jù)共享的工作做起來(lái)。各級(jí)政府都以數(shù)據(jù)應(yīng)用為導(dǎo)向，需要什么數(shù)據(jù)就共享什么數(shù)據(jù)。部門(mén)間的信息共享，綜合考慮管理難度和技術(shù)難度建議分為三個(gè)階段：“條線內(nèi)部門(mén)共享”、“平級(jí)跨部門(mén)共享”、“跨層級(jí)和跨區(qū)域的共享”，通過(guò)統(tǒng)一規(guī)劃，逐步推進(jìn)的策略，打造部門(mén)間信息資源共享共用的新格局。 數(shù)據(jù)開(kāi)放對(duì)社會(huì)的數(shù)據(jù)開(kāi)放，先從方便百姓生活又不是很敏感的數(shù)據(jù)開(kāi)始。特別是涉及公共安全、公共利益的數(shù)據(jù)，提供公共服務(wù)的機(jī)構(gòu)或企業(yè)有義務(wù)在一定前提條件下開(kāi)放，這樣一些可以預(yù)警、預(yù)防的群體性事件就能夠避免。按照社會(huì)關(guān)注程度、數(shù)據(jù)量大小和具體實(shí)施難度，數(shù)據(jù)開(kāi)放建議分為三個(gè)階段：“業(yè)務(wù)統(tǒng)計(jì)數(shù)據(jù)”、“少量高頻數(shù)據(jù)”、“重點(diǎn)業(yè)務(wù)數(shù)據(jù)”。通過(guò)以安全為前提，重點(diǎn)關(guān)注優(yōu)先試點(diǎn)，逐步擴(kuò)大范圍為原則，穩(wěn)步推行數(shù)據(jù)服務(wù)開(kāi)放。12
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案 數(shù)據(jù)融合政務(wù)大數(shù)據(jù)歸根結(jié)底，還是要面向行業(yè)應(yīng)用的，需要基于不同的業(yè)務(wù)部門(mén)開(kāi)展，并和現(xiàn)有平臺(tái)建立聯(lián)系。融合應(yīng)用可以分為“數(shù)據(jù)融合”、“業(yè)務(wù)融合”、“產(chǎn)業(yè)融合”三個(gè)層次：其中，數(shù)據(jù)融合是把本單位數(shù)據(jù)、從其他單位共享的數(shù)據(jù)，以及互聯(lián)網(wǎng)等社會(huì)相關(guān)的數(shù)據(jù)，相互融合，相互比對(duì)，建立融合數(shù)據(jù)資源中心，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和口徑。業(yè)務(wù)融合主要圍繞各行業(yè)的特定業(yè)務(wù)場(chǎng)景，比如交通出行、醫(yī)療保障、民生服務(wù)等領(lǐng)域，建設(shè)智慧應(yīng)用，形成行業(yè)業(yè)務(wù)的決策分析體系，支撐城市運(yùn)行和城市治理的方方面面。產(chǎn)業(yè)融合，隨著一大批大數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)營(yíng)企業(yè)的興起，政府?dāng)?shù)據(jù)將不單單是自建自用，通過(guò)建設(shè)數(shù)據(jù)運(yùn)營(yíng)平臺(tái)，數(shù)據(jù)交易平臺(tái)等形式，引入社會(huì)資本共同參與城市建設(shè)和社會(huì)治理，實(shí)現(xiàn)向集約型、服務(wù)型、智慧型政府的轉(zhuǎn)變。13
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案 業(yè)務(wù)流程開(kāi) 始從 緩 沖 區(qū) 增 量 數(shù) 據(jù) 表 中 獲 取 人 口 增量 數(shù) 據(jù)根 據(jù) 證 件 類 型 判 斷 證 件 號(hào) 是否 符 合 規(guī) 范否通 過(guò) 證 件 號(hào) 判 斷 該 人 是 否 存在 于 人 口 主 表 中將 該 條 增 量 數(shù) 據(jù) 插 入 異 常 表 中否是將 人 口 庫(kù) 【 人 口 增 量 數(shù) 據(jù) 表 】中 該 人 口 記 錄 刪 除通 過(guò) 【 部 門(mén) 業(yè) 務(wù) 系 統(tǒng) 提 供 字 段 配 置表 】 得 到 該 業(yè) 務(wù) 系 統(tǒng) 需 采 集 的 字 段且 循 環(huán) 這 些 字 段判 斷 人 口 庫(kù) 該 字 段 值 的 來(lái) 源是 否 是 該 業(yè) 務(wù) 系 統(tǒng)將 該 人 口 記 錄 插 入 到 【 人 口 基礎(chǔ) 信 息 表 】 及 【 專 題 表 】是是否根 據(jù) 證 件 號(hào) 碼 和 類 型 更 新【 人 口 基 礎(chǔ) 信 息 表 】 及 【 專題 表 】 的 字 段否判 斷 新 采 集 的 字 段 值 是 否 為空否將 該 人 口 記 錄 字 段 來(lái) 源 插 入 到【 字 段 來(lái) 源 表 】判 斷 人 口 庫(kù) 庫(kù) 該 字 段 值 是 否為 空否否判 斷 該 業(yè) 務(wù) 系 統(tǒng) 的 數(shù) 據(jù)是是 否 是 業(yè) 務(wù) 上 的 新 增 ?否是根 據(jù) 證 件 號(hào) 碼 和 類 型 更 新 【 人 口 基礎(chǔ) 信 息 表 】 及 【 專 題 表 】 的 字 段 值是判 斷 該 業(yè) 務(wù) 系 統(tǒng) 是 否 為該 字 段 的 權(quán) 威 來(lái) 源更 新 【 字 段 來(lái) 源 表 】 中 該 字 段的 來(lái) 源循 環(huán) 人 口 庫(kù) 需 采 集 該 業(yè) 務(wù) 系統(tǒng) 的 字 段 是 否 結(jié) 束將 人 口 庫(kù) 【 人 口 增 量 數(shù) 據(jù) 表 】 中 該人 口 記 錄 刪 除結(jié) 束 業(yè)務(wù)量分析業(yè)務(wù)量分析可以從平臺(tái)交互量、每天總用戶數(shù)（個(gè)）、每天每個(gè)用戶平均執(zhí)行操作數(shù)、高峰時(shí)段交互量占全天交互量的百分比、高峰時(shí)段持續(xù)時(shí)間（小時(shí)）、高峰時(shí)段在線用戶數(shù)（個(gè)）等方面指標(biāo)進(jìn)行綜合估算。**互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺(tái)的業(yè)務(wù)量估算如下表所示：表 31 業(yè)務(wù)量估算序號(hào)數(shù)據(jù)名稱平臺(tái)交互量數(shù)據(jù)量200（日均）100123每天總用戶數(shù)（個(gè)）每天每個(gè)用戶平均執(zhí)行操作數(shù)高峰時(shí)段交互量占全天交互量的百分比1000460%14
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案序號(hào)數(shù)據(jù)名稱數(shù)據(jù)量4（9：0011：00，15：0017：00）60（日均）56高峰時(shí)段持續(xù)時(shí)間（小時(shí)）高峰時(shí)段在線用戶數(shù)（個(gè)） 信息量分析和預(yù)測(cè) 存儲(chǔ)量分析本項(xiàng)目中存儲(chǔ)的數(shù)據(jù)主要包括兩大部分：系統(tǒng)網(wǎng)站群的在線行為數(shù)據(jù)和國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道、信息源以及政府網(wǎng)站群的在線內(nèi)容數(shù)據(jù)。在線用戶行為數(shù)據(jù)以符合 W3C格式標(biāo)準(zhǔn)的日志形式進(jìn)行存儲(chǔ)。網(wǎng)站內(nèi)容更新數(shù)據(jù)直接存到關(guān)系型數(shù)據(jù)庫(kù)或其他非關(guān)系型數(shù)據(jù)庫(kù)中。在線行為數(shù)據(jù)存儲(chǔ)量網(wǎng)站群的在線行為數(shù)據(jù)存儲(chǔ)主要分為三部分：（1）接收數(shù)據(jù)，是系統(tǒng)儲(chǔ)存的原始數(shù)據(jù)。（2）結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和去重后進(jìn)行結(jié)構(gòu)化后存儲(chǔ)。（3）分析數(shù)據(jù)庫(kù)，將結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析預(yù)計(jì)算后存儲(chǔ)。按照本項(xiàng)目需要涵蓋**系統(tǒng)網(wǎng)站群的 500個(gè)網(wǎng)站，每個(gè)網(wǎng)站的日平均訪問(wèn)按照 10000個(gè) PV計(jì)算，預(yù)計(jì)每日需要處理的總的 PV數(shù)為 500萬(wàn)。n 接收數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論其中接收數(shù)據(jù)庫(kù)的主要條目占用空間，如下表所示：?jiǎn)蝹€(gè) PV所要儲(chǔ)存的信息空間大小（字節(jié)）訪問(wèn)路徑信息160015
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案來(lái)源路徑信息1120其他信息（會(huì)話標(biāo)識(shí)、Cookie標(biāo)識(shí)、時(shí)間信息等）256匯總2976單個(gè) Session所要儲(chǔ)存的信息(1個(gè) Session大約產(chǎn)生 4PV）訪問(wèn)路徑信息5121120128來(lái)源路徑信息客戶端信息（IP、瀏覽器等）其他信息（會(huì)話標(biāo)識(shí)、Cookie標(biāo)識(shí)、時(shí)間信息等）256匯總2016單個(gè) Cookie所要儲(chǔ)存的信息(1個(gè) Cookie大約產(chǎn)生)訪問(wèn)路徑信息512256768其他信息（Cookie標(biāo)識(shí)、時(shí)間信息等）匯總例如：按照其他同類項(xiàng)目的數(shù)據(jù)估算，PV和 Session數(shù)量比為 4：1，Session和 Cookie的數(shù)量比為 ：1。則 500萬(wàn)的 PV會(huì)產(chǎn)生 125萬(wàn) 的 Session 以 及 產(chǎn) 生 100 萬(wàn) 的 Cookie， 總 占 據(jù) 空 間 為5000000*2976+1250000*2016+1000000*768=18G，包括索引以及其他表占用的空間之后，約為 20G。原始日志存儲(chǔ)到 SQL Server中會(huì)采用壓縮技術(shù)，大小將降為 5G。結(jié)論：對(duì)于接收數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每 500 萬(wàn)PV 至少需要 25G 的儲(chǔ)存空間。n 結(jié)構(gòu)化數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論**系統(tǒng)政府網(wǎng)站群監(jiān)測(cè)分析調(diào)度系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)和原始數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)一致，但是經(jīng)過(guò)對(duì)原始數(shù)據(jù)庫(kù)的數(shù)據(jù)去冗余以及結(jié)構(gòu)化，用外鍵壓縮了原來(lái)直接存儲(chǔ)在各表里的信息，大小會(huì)變?yōu)樵紨?shù)據(jù)的一半，也就是 。16
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案結(jié)論：對(duì)于結(jié)構(gòu)化數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每 500萬(wàn) PV至少需要 。n 分析數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論**系統(tǒng)政府網(wǎng)站群監(jiān)測(cè)分析調(diào)度系統(tǒng)的分析數(shù)據(jù)庫(kù)內(nèi)容基本是結(jié)構(gòu)化數(shù)據(jù)庫(kù)的拷貝，大小與結(jié)構(gòu)化數(shù)據(jù)庫(kù)基本一致，也為 。結(jié)論：對(duì)于“決策支持系統(tǒng)”的分析數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每 500萬(wàn) PV至少需要 。綜上所述，在不做任何備份的情況下，每 500萬(wàn)的 PV，需要文件存儲(chǔ)空間為：25GB + + =30G。到 2015年底的存儲(chǔ)量為 ，到 2019年底的存儲(chǔ)量為 ，具體測(cè)算如下表所示：接收日志明細(xì)匯總數(shù)據(jù)合計(jì)875G單月數(shù)據(jù)量(G)保留周期(月)25*30=750 *30= *30=60606060一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)90004500075075037503750在線內(nèi)容數(shù)據(jù)存儲(chǔ)量n 國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源按照本項(xiàng)目需要面向國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源進(jìn)行在線內(nèi)容采集爬取，按照覆蓋包括主流媒體在內(nèi)的 200個(gè)信息源，每個(gè)信息源爬取 3級(jí)計(jì)算，平均每天可以爬取更新的總的頁(yè)面數(shù)約為 30萬(wàn) 個(gè) ， 每 個(gè) 頁(yè) 面 按 照 100KB 計(jì) 算 ， 共 需 要 占 用 的 空 間 為30W*1000KB=30G。17
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案到 2015年底的存儲(chǔ)量為 ，到 2019年底的存儲(chǔ)量為 54T，具體測(cè)算如下表所示：國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源單月數(shù)據(jù)量(G)一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)30萬(wàn)*30=900G54Tn **級(jí)以上政府網(wǎng)站群**級(jí)以上政府網(wǎng)站群網(wǎng)站內(nèi)容更新數(shù)據(jù)主要包括以下三部分：網(wǎng)站更新頁(yè)面、網(wǎng)站更新的入口，網(wǎng)站更新的白名單。按照本項(xiàng)目需要涵蓋**系統(tǒng)網(wǎng)站群及**各級(jí)政府網(wǎng)站群的6500個(gè)網(wǎng)站，平均每個(gè)網(wǎng)站每天更新 10個(gè)頁(yè)面，就是 。如果每天爬取 10次，就是 106500= 萬(wàn)個(gè)入口，每個(gè)網(wǎng)站算 10個(gè)白名單，那就是 10650010=65 萬(wàn)個(gè)白名單?？偣彩?++65萬(wàn)=78萬(wàn)，共需要占用的空間為 78萬(wàn)頁(yè)*100KB/頁(yè)=78G。到 2015 年底的存儲(chǔ)量為 ，到 2019 年底的存儲(chǔ)量為，具體測(cè)算如下表所示：更新頁(yè)面數(shù)據(jù)*30=195網(wǎng)站入口數(shù)據(jù) 白名單數(shù)據(jù)合計(jì)單月數(shù)據(jù)量(G)一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)*30=195 65*30=1950 2340G117T綜上所述，系統(tǒng)的數(shù)據(jù)存儲(chǔ)總量如下表所示：表 32 數(shù)據(jù)量估算表序號(hào)數(shù)據(jù)名稱初始量5年內(nèi)的增量12在線行為數(shù)據(jù)54T互聯(lián)網(wǎng)重點(diǎn)渠道和信息源**團(tuán)以上政府網(wǎng)站群3合計(jì)18
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案 處理量分析（1）網(wǎng)站群用戶訪問(wèn)行為數(shù)據(jù)處理量分析以每天 725萬(wàn)個(gè)客戶端訪問(wèn)（包括 500萬(wàn) PV、100萬(wàn) Session、125萬(wàn) Cookie）并發(fā)計(jì)算，結(jié)合在線行為數(shù)據(jù)的接收主要集中在工作時(shí)間，7250000/8小時(shí)/60分鐘/60秒=251個(gè)/秒，日志接收服務(wù)器接受每秒鐘接收日志請(qǐng)求 251個(gè)，遠(yuǎn)遠(yuǎn)低于系統(tǒng)的每秒接收到的正常數(shù)（該值通常為 70009000）。根據(jù)日志接收每秒鐘的并發(fā)量為 251，因此系統(tǒng)的數(shù)據(jù)接收只需要再用兩臺(tái)服務(wù)器做負(fù)載均衡即可。但是為了防止數(shù)據(jù)接收網(wǎng)站的域名出現(xiàn)單點(diǎn)故障，因此系統(tǒng)的數(shù)據(jù)接收采用雙域名備份，即每個(gè)域名對(duì)應(yīng)兩臺(tái)數(shù)據(jù)接收服務(wù)器，一共四臺(tái)。根據(jù)系統(tǒng)需要滿足**政府網(wǎng)站智能分析系統(tǒng)診斷的需要，目前系統(tǒng)的單臺(tái)服務(wù)器的數(shù)據(jù)處理能力為 400家左右，因此需要 4臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，另外需要兩臺(tái)相同配置的數(shù)據(jù)庫(kù)服務(wù)器作為備份。（2）其他在線內(nèi)容數(shù)據(jù)處理量分析一是系統(tǒng)需要支持對(duì)不少于 108萬(wàn)個(gè)數(shù)據(jù)采集點(diǎn)每天至少一次輪詢抓取，同時(shí)對(duì)抓取回的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理和清洗入庫(kù)工作，二是需要實(shí)現(xiàn)對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的指標(biāo)自動(dòng)抽取和更新工作，三是需要支持前臺(tái)交互系統(tǒng)的交互分析挖掘需求。結(jié)合以上幾部分需求，預(yù)計(jì)所需的內(nèi)容數(shù)據(jù)處理服務(wù)器約 50臺(tái)。其中較高性能處理服務(wù)器（單機(jī) 20 核服務(wù)器 CPU:2660*2MEM:144G DISK:SSD 480G*2+SAS 4T*6，萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電19
 **政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案源）10 臺(tái)，中等性能處理服務(wù)器（單機(jī) 12 核服務(wù)器,CPU:2620*2MEM:32G DISK:4T*10，萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電源）10臺(tái)。較低性能服務(wù)器（單機(jī) 12 核服務(wù)器,CPU:2620*2 MEM:72G DISK:SSD480G*2+SAS 600G*4，萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電源）30臺(tái)。 網(wǎng)絡(luò)流量分析按每天處理 725萬(wàn)在線行為數(shù)據(jù)，每條數(shù)據(jù)為 10KB大小，108萬(wàn)條在線內(nèi)容數(shù)據(jù)，每條 100KB計(jì)算，需要的平均帶寬為 17Mbps，高峰時(shí)期按 3倍帶寬需求計(jì)算為：51Mbps，GE鏈路接入可以滿足需求，出于冗余考慮，