【正文】 DreamBI 大數(shù)據(jù)分析平臺 技術(shù)白皮書 目錄 第一章 產(chǎn)品簡介 .......................................................................................................... 4 一、 產(chǎn)品說明 ............................................................................................ 4 二、 產(chǎn)品特點(diǎn) ............................................................................................ 4 三、 系統(tǒng)架構(gòu) ............................................................................................ 4 四、 基礎(chǔ)架構(gòu) ............................................................................................ 7 五、 平臺架構(gòu) ............................................................................................ 7 第二章 功能 介紹 .......................................................................................................... 7 . 元數(shù)據(jù)管理平臺 ................................................................................ 7 . 業(yè)務(wù)元數(shù)據(jù)管理 ................................................................................ 8 . 指標(biāo)元數(shù)據(jù)管理 .............................................................................. 10 . 技術(shù)元數(shù)據(jù)管理 .............................................................................. 14 . 血統(tǒng)管理 .......................................................................................... 15 . 分析與擴(kuò)展應(yīng)用 .............................................................................. 16 . 信息報(bào)送平臺 .................................................................................. 17 . 填報(bào)制度管理 .................................................................................. 17 . 填報(bào)業(yè)務(wù)管理 .................................................................................. 33 . 數(shù)據(jù)交換平臺 .................................................................................. 54 . ETL 概述 ........................................................................................... 55 . 數(shù)據(jù)抽取 .......................................................................................... 56 . 數(shù)據(jù)轉(zhuǎn)換 .......................................................................................... 56 . 數(shù)據(jù)裝載 .......................................................................................... 57 . 規(guī)則維護(hù) .......................................................................................... 58 . 數(shù)據(jù)梳理和加載 .............................................................................. 65 . 統(tǒng)計(jì)分析平臺 .................................................................................. 67 . 多維在線分析 .................................................................................. 67 . 即席查詢 .......................................................................................... 68 . 智能報(bào)表 .......................................................................................... 70 . 駕駛艙 .............................................................................................. 74 . 圖表分析與監(jiān)測預(yù)警 ...................................................................... 75 . 決策分析 .......................................................................................... 79 . 智能搜索平臺 .................................................................................. 83 . 實(shí)現(xiàn)方式 .......................................................................................... 84 . SolrCloud .......................................................................................... 85 . 應(yīng)用支撐平臺 .................................................................................. 87 . 用戶及權(quán)限管理 .............................................................................. 87 . 統(tǒng)一工作門戶 .................................................................................. 94 . 統(tǒng)一消息管理 ................................................................................ 100 . 統(tǒng)一日志管理 ................................................................................ 103 第三章 典型用戶 ...................................................................................................... 106 第四章 案例介紹 ...................................................................................................... 108 一、 高速公路大數(shù)據(jù)與公路貨運(yùn)統(tǒng)計(jì) ................................................ 108 二、 工信部 數(shù)據(jù)決策支撐系統(tǒng) .......................................................... 110 三、 企業(yè)誠信指數(shù)分析 ........................................................................ 111 四、 風(fēng)險(xiǎn)定價(jià)分析平臺 ........................................................................ 112 五、 基于斯諾模型的增長率測算 ........................................................ 113 六、 上交所 歷史數(shù)據(jù)回 放引擎 .......................................................... 114 七、 浦東新區(qū)能耗監(jiān)控 ........................................................................ 115 第一章 產(chǎn)品簡介 一、 產(chǎn)品說明 DreamBI 摒棄了原有數(shù)據(jù)采集及開發(fā)應(yīng)用系統(tǒng) 建設(shè)時(shí)間長、花費(fèi)高的傳統(tǒng)建設(shè)模式，提供了一套方便易用的元數(shù)據(jù)管理平臺，并以此為基礎(chǔ)，采用獨(dú)有的拖拽式可視化操作，為用戶提供了一整套簡單快捷的數(shù)據(jù) 采集、 查詢統(tǒng)計(jì) 、 在線分析 、資料制作、信息發(fā)布等功能模塊 。 二、 產(chǎn)品特點(diǎn) 讓每個(gè)人都會(huì)用的可視化展現(xiàn)及分析系統(tǒng) ? 拖拽即成，人人會(huì)用 ? 跨平臺、跨設(shè)備輕松展現(xiàn) ? 全程元數(shù)據(jù)管理 ? 完美中國式報(bào)表，符合國情 ? OLAP 分析、即席查詢、交互式圖表分析、數(shù)據(jù)挖掘四項(xiàng)項(xiàng)全能 三、 系統(tǒng) 架構(gòu) 總體架構(gòu)設(shè)計(jì)采用云服務(wù)的架構(gòu)模式系統(tǒng)建設(shè)總體架構(gòu)圖如下： 如上圖所示，項(xiàng)目功能整體設(shè)計(jì)以服務(wù)為理念，自下而上分別提供： 一、 Iaas（設(shè)備即服務(wù)）層 這一層，利用服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等硬件設(shè)施，同時(shí)配合操作系統(tǒng)、虛擬化管理軟件、數(shù)據(jù)庫、網(wǎng)絡(luò)管理系統(tǒng)為整個(gè)項(xiàng)目的部署、運(yùn)行提供高效可控的硬件設(shè)施服務(wù)。 二、 Daas（數(shù)據(jù)即服務(wù)）層 數(shù)據(jù)層，作為整個(gè)系統(tǒng)的信息存儲(chǔ)層，這里主要存儲(chǔ)信息包括：元數(shù)據(jù)、企業(yè)名錄庫、共享數(shù)據(jù)、私有數(shù)據(jù)以及應(yīng)用信息庫（用戶權(quán)限信息、系統(tǒng)配置信息、日志信息等）。 三、 Paas（平 臺即服務(wù)）層 作為開放、可擴(kuò)展、成熟的應(yīng)用系統(tǒng)，大部分的應(yīng)用模塊都應(yīng)該是通過完善可靠的應(yīng)用開發(fā)平臺，結(jié)合實(shí)際的業(yè)務(wù)需要，通過二次開發(fā)或配置完成，配合本期項(xiàng)目的實(shí)際需要以及未來可擴(kuò)展性的考慮，我們將提供 元數(shù)據(jù)管理平臺 、 智能搜索平臺 、 信息交換平臺 、 信息報(bào)送平臺 、 統(tǒng)計(jì)分析平臺 、 應(yīng)用支撐平臺 這六大基礎(chǔ)服務(wù)平臺，大部分的功能模塊將通過這六大平臺二次開發(fā)或配置完成，同時(shí)保證業(yè)務(wù)模塊的快速調(diào)整或功能擴(kuò)展。 四、 Saas（軟件即服務(wù)）層 軟件既服務(wù)這一層，將根據(jù)用戶實(shí)際的業(yè)務(wù)需求，結(jié)合基礎(chǔ)服務(wù)平臺，提供具體的功能模塊，包括： （一）、 信息報(bào)送子系統(tǒng) ? 任務(wù)發(fā)布 ? 信息報(bào)送 ? 數(shù)據(jù)審核 ? 信息歸檔 ? 任務(wù)監(jiān)控 ? 報(bào)送情況統(tǒng)計(jì) （二）、 數(shù)據(jù)處理子系統(tǒng) ? 企業(yè)名錄庫 ? 數(shù)據(jù)加載 ? 查詢、統(tǒng)計(jì)、計(jì)算、報(bào)表設(shè)計(jì)、圖表設(shè)計(jì) ? 信息發(fā)布 ? 批處理腳本 （三）、 信息共享門戶 ? 信息發(fā)布審核 ? 共享目錄 ? 智能檢索