【導(dǎo)讀】DreamBI大數(shù)據(jù)分析平臺(tái)

　　

【正文】 ，并重新裝載新的數(shù)據(jù)。 ? 在裝載過(guò)程中，一般會(huì)用到四種方式： ? 裝載：如果要裝載的目標(biāo)表已經(jīng)存在，而且也有數(shù)據(jù)存在于表中，裝載過(guò)程就會(huì)抹去已有的數(shù)據(jù)，應(yīng)用輸入文件中新的數(shù)據(jù)。如果裝載的目標(biāo)是個(gè)空表，就直接應(yīng)用來(lái)自輸入文件的數(shù)據(jù)。 ? 追加：若表中已經(jīng)存在數(shù)據(jù)，追加過(guò)程會(huì)無(wú)條件地增加輸入數(shù)據(jù)，并在目標(biāo)表中保存已有的數(shù)據(jù)。當(dāng)存在記錄重復(fù)情況時(shí)，需要定義如何處理重復(fù)的輸入數(shù)據(jù)的記錄副本（可以作為副本增加進(jìn)去，也可以將其丟棄）。 ? 破壞性合并：如果輸入數(shù)據(jù)記錄的主鍵與已有記錄互相匹配，就對(duì)匹配的目標(biāo)記錄進(jìn)行更新，如果沒(méi)有匹配的目標(biāo)紀(jì)錄，就將輸入記錄添加入目標(biāo)表。 ? 建設(shè)性合并：如果數(shù)據(jù)記錄的主鍵與已有記錄匹配，就保留已有記錄，加入輸入的記錄，并將增加的記錄標(biāo)記為舊記錄的替代。 . 規(guī)則維護(hù) ETL 指的是數(shù)據(jù)提取 (Extraction), 變換 (Transformation)和加載 (Loading)全過(guò)程。 ETL 系統(tǒng)按照預(yù)先定義的任務(wù)定時(shí)調(diào)度表，定期自動(dòng)把各個(gè)業(yè)務(wù)系統(tǒng)的新增數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換后，加載到 數(shù)據(jù)庫(kù) 。 ETL 功能是提供 數(shù)據(jù)庫(kù) 信息內(nèi)容的前期工 作，它改造了來(lái)自數(shù)據(jù)源的相關(guān)數(shù)據(jù)，將它們變成有用的信息存儲(chǔ)在 數(shù)據(jù)庫(kù) 中。沒(méi)有這些功能，就沒(méi)有 數(shù)據(jù)庫(kù) 中的戰(zhàn)略信息。如果沒(méi)有對(duì)源數(shù)據(jù)進(jìn)行正確的抽取、清洗和用正確的格式進(jìn)行整合，作為 數(shù)據(jù)庫(kù) 中樞功能的查詢和分析處理就不能進(jìn)行。 廣義說(shuō)來(lái)， ETL 系統(tǒng)將貫穿整個(gè) 數(shù)據(jù)庫(kù) 的全過(guò)程。但通常情況下， ETL 指的是從抽取源數(shù)據(jù)到載入 數(shù)據(jù)庫(kù) DW 層這期間對(duì)數(shù)據(jù)的加工處理過(guò)程。 ETL 子系統(tǒng)中數(shù)據(jù)轉(zhuǎn)換規(guī)則和數(shù)據(jù)映射規(guī)則需通過(guò)分析 數(shù)據(jù)庫(kù) 中的數(shù)據(jù)結(jié)構(gòu)和源系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)得出，并把這些規(guī)則存儲(chǔ)在元數(shù)據(jù)庫(kù)中。 ETL 在整個(gè) 數(shù)據(jù)庫(kù) 中占有非常重要 的地位。從分析質(zhì)量來(lái)看，及時(shí)可靠的分析數(shù)據(jù)影響著整個(gè)系統(tǒng)的準(zhǔn)確程度。從工作量上來(lái)看，一旦 數(shù)據(jù)庫(kù) 系統(tǒng)建成，ETL 工作時(shí)間最高可占全部 數(shù)據(jù)庫(kù) 系統(tǒng)的 60%。 在該項(xiàng)目中，基于元數(shù)據(jù)的基礎(chǔ)在，實(shí)現(xiàn)數(shù)據(jù) ETL 的設(shè)置與實(shí)現(xiàn)。主要包括的功能如下： 數(shù)據(jù)源維護(hù) 利用元數(shù)據(jù)管理的方式，描述數(shù)據(jù)源的數(shù)據(jù)信息，并支持多種類型的數(shù)據(jù)源： ? Oracle 服務(wù)器。 ? MS SQLServer 服務(wù)器，網(wǎng)上直報(bào)系統(tǒng) v3。 ? Txt 數(shù)據(jù)源，網(wǎng)上直報(bào)系統(tǒng)導(dǎo)出文件。 ? Excel數(shù)據(jù)源，部分專業(yè)系統(tǒng)的導(dǎo)出文件及各區(qū)的部分上報(bào)文件格式。 ? VFP 數(shù)據(jù)源，部分專業(yè)系統(tǒng)的導(dǎo)出文件及各區(qū)的部分上報(bào)文件格式。 系統(tǒng)參數(shù) 通過(guò)該模塊，用戶可以維護(hù)在 ETL 過(guò)程中，需要用戶額外制定的數(shù)值變量，如數(shù)據(jù)源中沒(méi)有當(dāng)前月份，所屬區(qū)縣等信息的情況下，可以在系統(tǒng)參數(shù)中，進(jìn)行設(shè)置。 指標(biāo)元數(shù)據(jù)對(duì)應(yīng)關(guān)系 通過(guò)拖拽的方式，設(shè)置數(shù)據(jù)源的元數(shù)據(jù)與目標(biāo)數(shù)據(jù)的對(duì)應(yīng)關(guān)系，系統(tǒng)可通過(guò)指標(biāo)元數(shù)據(jù)名稱、綁定字段名成等信息，自動(dòng)匹配對(duì)應(yīng)關(guān)系。 同時(shí)，可以對(duì)元數(shù)據(jù)間的對(duì)應(yīng)關(guān)系設(shè)置高級(jí)屬性： 在高級(jí)屬性中，用戶可以對(duì)數(shù)據(jù)源的信息進(jìn)行進(jìn)一步處理，同時(shí)可以設(shè)置數(shù)據(jù)轉(zhuǎn)換關(guān)系，以及是否導(dǎo)入的條件。 在對(duì)應(yīng)關(guān)系的高級(jí)選項(xiàng)中，用戶可以設(shè)置每次導(dǎo)入的紀(jì)錄數(shù)，以及導(dǎo)入方式，包括： 增量導(dǎo)入、更新導(dǎo)入、根據(jù)主建增量導(dǎo)入或更新導(dǎo)入。 ETL 任務(wù) 通過(guò)維護(hù) ETL 任務(wù)，設(shè)置 ETL 啟動(dòng)的方式、數(shù)據(jù)導(dǎo)入順序、計(jì)劃時(shí)間、數(shù)據(jù)文件、系統(tǒng)參數(shù)、以及審核條件。 在計(jì)劃列表中，用戶選擇本次 ETL 任務(wù)需要用到的對(duì)應(yīng)關(guān)系，并且要設(shè)置關(guān)系導(dǎo)入的順序。 如果該 ETL 任務(wù)是需要定時(shí)啟動(dòng)的，則要在計(jì)劃時(shí)間中，設(shè)置定時(shí)屬性。 如果數(shù)據(jù)源需要用戶提供文件，如 txt 文件、 excel文件或者 vfp 的 dbf 文件等，則要在數(shù)據(jù)文件中，羅列出需要用戶提供的文件列表以及向?qū)?yīng)于 ETL 服務(wù)器中所對(duì)應(yīng)的文件目錄。 設(shè)置用戶在啟動(dòng) ETL 的時(shí)候，需要提交的參數(shù)。 審核條件中，用戶可以選擇數(shù)據(jù)導(dǎo)入的過(guò)程中，需要那些審核條件來(lái)對(duì)數(shù)據(jù)進(jìn)行審核。 . 數(shù)據(jù)梳理和加載 數(shù)據(jù)抽取、清洗與加載的過(guò)程可以通過(guò)兩種方式來(lái)啟動(dòng)，人工和定時(shí)。 ? 定時(shí)方式： ETL 服務(wù)器會(huì)根據(jù)計(jì)劃任務(wù)時(shí)間的設(shè)置，定時(shí)啟動(dòng) ETL，并在任務(wù)結(jié)束后，通過(guò)統(tǒng)一短信平臺(tái)通知相關(guān)人員。 ? 人工啟動(dòng)： 用戶可以在 ETL 任務(wù)列表中，通過(guò)向?qū)?dòng)所選任務(wù)，同時(shí)根據(jù)任務(wù)設(shè)置，提供相應(yīng)需要的文件以及設(shè)置系統(tǒng)參數(shù)，如下圖： 根據(jù)向?qū)崾荆x擇需要需要導(dǎo)入的文件并上傳。 根據(jù) ETL 任務(wù)需要提供的系統(tǒng)參數(shù)，填寫參數(shù)值，然后啟用 ETL 任務(wù)。 . 統(tǒng)計(jì)分析平臺(tái) . 多維在線分析 為用戶提供可視化、簡(jiǎn)單易用的報(bào)表工具，通過(guò)鼠標(biāo)拖拽的方式，實(shí)現(xiàn)復(fù)雜多變的報(bào)表需要；維度、指標(biāo)可以任意組合；可以任意鉆取和切片；報(bào)表格式能迅速以所見(jiàn)即所得方式進(jìn)行顯示。同時(shí)支持圖標(biāo)、報(bào)表等多種顯示形式。 通過(guò)拖拽方式的可視化界面，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)以及分類匯總 （ 1）、通過(guò)查詢模版設(shè)置與統(tǒng)計(jì)報(bào)表設(shè)置的結(jié)合，實(shí)現(xiàn)條件查詢、模糊查詢、組合查詢、關(guān)鍵字搜索。 （ 2）、同時(shí)支持 Excel， Html 格式的報(bào)表導(dǎo)出導(dǎo)出。同時(shí)導(dǎo)出的文件保持表頭、列頭固定。 （ 3）、支持行列互換。 （ 4）、支持對(duì)數(shù)據(jù)的上鉆、下鉆操作。 （ 5）、支持多指標(biāo)，多維度的并列或者交叉顯示，逐層合計(jì)匯總。 （ 6）、支持多種類型的圖表展現(xiàn)，以及報(bào)表數(shù)據(jù)與圖表之間的互動(dòng)。 . 即席查詢 即席查詢功能提供一個(gè)靈活的查詢工具，用戶可以根據(jù)自己的需要 ，靈活的設(shè)置查詢項(xiàng)及查詢條件，同時(shí)支持查詢條件的任意組合及與或關(guān)系。 1) 自由的選擇查詢項(xiàng) 2) 查詢條件的自由設(shè)置與任意組合，同時(shí)支持介于、屬于列表等條件設(shè)置。 3) 查詢結(jié)果的排序項(xiàng)可設(shè)置多個(gè)，并支持單獨(dú)設(shè)置升降序。 4) 查詢條件可保存成查詢模板。 5) 支持各種類型發(fā)布，包括生成 EXCEL、 HTML 等功能； excel 需要能夠保留格式； html需要支持固定主欄、賓欄功能； . 智能報(bào)表 為各級(jí) 業(yè)務(wù) 人員和管理人員提供面向數(shù)據(jù)中心的高效、靈活的報(bào)表功能，實(shí)現(xiàn)報(bào)表制作、報(bào)送的隨需而變，報(bào)表展現(xiàn)做到靈活多變，可按不同的指標(biāo)、特征、不同的時(shí)間段進(jìn)行對(duì)比分析，可做到 N 年內(nèi)數(shù)據(jù)同期對(duì)比，目標(biāo)與實(shí)際數(shù)據(jù)對(duì)比，季度對(duì)比、累計(jì)對(duì)比，結(jié)合圖形展現(xiàn)方式，如儀表盤、圓餅圖、直方圖、曲線圖等可視圖形，為上層決策帶來(lái)可靠的依據(jù)。實(shí)現(xiàn)任意選擇不同的指標(biāo)值查看匯總數(shù)據(jù)，且能往下鉆取挖掘數(shù)據(jù)，查看到每一條明細(xì)值。系統(tǒng)實(shí)施后，報(bào)表設(shè)計(jì)可以由業(yè)務(wù)部門人員自行設(shè)計(jì)，操作盡量簡(jiǎn)單，不需要 IT 人員的過(guò)多參與。能做到 B/S 方式瀏覽報(bào)表。功能包括： . 報(bào)表生成 報(bào)表生成模塊的功能包括報(bào)表數(shù)據(jù)生成、報(bào)表生成、報(bào)表發(fā)布。 6) 數(shù)據(jù)生成 在 ODS 基礎(chǔ)上建立報(bào)表集市，報(bào)表集市內(nèi)的數(shù)據(jù)來(lái)源是由報(bào)表類型決定的，對(duì)指標(biāo)型報(bào)表，通常是固定格式的報(bào)表，其內(nèi)的數(shù)據(jù)是根據(jù)業(yè)務(wù)要求，定期地對(duì)指標(biāo)對(duì)應(yīng)的事實(shí)表進(jìn)行運(yùn)算，計(jì)算各指標(biāo)值到相應(yīng)的報(bào)表集市；統(tǒng)計(jì)型報(bào)表，是從相關(guān)事實(shí)表進(jìn)行匯總生成報(bào)表集市數(shù)據(jù)；分析型報(bào)表，一部分可以采用與統(tǒng)計(jì)型報(bào)表相同的數(shù)據(jù)生成方式，另一部分可以借助數(shù)據(jù)立方體進(jìn)行提取生成。 7) 報(bào)表生成 報(bào)表生成，是借用應(yīng)用服務(wù)（應(yīng)用開(kāi)發(fā)實(shí)現(xiàn)）或報(bào)表服務(wù)（報(bào)表工具提供），對(duì)報(bào)表數(shù) 據(jù)進(jìn)行展現(xiàn)。報(bào)表在運(yùn)行時(shí)生成，即應(yīng)用服務(wù)或報(bào)表服務(wù)根據(jù)用戶的輸入生成報(bào)表。 8) 報(bào)表發(fā)布 采用報(bào)表服務(wù)生成的報(bào)表，要發(fā)布到報(bào)表服務(wù)器才能被用戶訪問(wèn)。發(fā)布時(shí)要做相應(yīng)的權(quán)限控制。 . 報(bào)表查詢 報(bào)表查詢模塊允許授權(quán)用戶通過(guò) WEB或客戶端從遠(yuǎn)端查看需要的報(bào)表信息，并且允許進(jìn)行在線的數(shù)據(jù)分析和綜合；包括用戶權(quán)限驗(yàn)證、報(bào)表展示等。 報(bào)表展現(xiàn)，支持圖表結(jié)合顯示，能導(dǎo)出 EXCEL 格式文件和 PDF 格式文件，對(duì)統(tǒng)計(jì)與分析型報(bào)表支持分頁(yè)顯示。 . 報(bào)表類型 包括： 1) 業(yè)務(wù)報(bào)表 業(yè)務(wù)報(bào)表是各業(yè)務(wù)部門日常工作中頻繁使用的固定格式報(bào)表，通常需要分發(fā)給許多的相關(guān)用戶。這類報(bào)表應(yīng)當(dāng)由系統(tǒng)批量產(chǎn)生，并根據(jù)預(yù)先設(shè)定的規(guī)則自動(dòng)發(fā)送給相關(guān)接收者 (通過(guò)郵件 )。所發(fā)送的報(bào)表可以瀏覽和打印。 2) 分析報(bào)表 分析報(bào)表是具有很強(qiáng)交互性、帶有查詢功能的報(bào)表。這類報(bào)表允許使用者自己輸入查詢、過(guò)濾排序等條件，從而得到不同時(shí)期的相關(guān)信息。分析報(bào)表通常需要使用者來(lái)運(yùn)行，對(duì)于得到的結(jié)果可以保存、瀏覽和打印。分析報(bào)表能通過(guò)到對(duì)歷史數(shù)據(jù)進(jìn)行智能分析，并預(yù)測(cè)未來(lái)的發(fā)展形勢(shì)。 3) 月度小冊(cè)子和年度快報(bào) 月度小冊(cè)子和年度快報(bào)分別是每月 和每年出版的刊物，其中包含幾十張報(bào)表，有固定格式，要求從數(shù)據(jù)庫(kù)中自動(dòng)生成。 . 報(bào)告管理 報(bào)告包括月報(bào)，季報(bào)，年鑒以及自定義報(bào)告部分組成，通過(guò)對(duì)來(lái)自各種數(shù)據(jù)源的數(shù)據(jù)去偽存真的分析研究、加工修飾以后，制作用戶需要和例行分析的各種數(shù)據(jù)、圖表和報(bào)告等。該子系統(tǒng)的功能覆蓋了目前大部分的手工報(bào)表功能。然后通過(guò)信息采編，對(duì)信息進(jìn)行組合，形成報(bào)告文本，通過(guò)授權(quán)向有關(guān)人員和部門發(fā)布報(bào)告。 4) 報(bào)告輔助生成（ Report Aided Generation ） 為用戶提供報(bào)告輔助生成工具，結(jié)合數(shù)據(jù)共享平臺(tái)、知識(shí)庫(kù)、模型庫(kù)，在此基礎(chǔ)上， 為用戶提供一個(gè)報(bào)告輔助生成系統(tǒng)，為用戶撰寫分析報(bào)告提供方便。 文字報(bào)告的自動(dòng)生成是一個(gè)較為復(fù)雜的過(guò)程，大體描述如下：首先由一個(gè)預(yù)處理模塊將原始數(shù)據(jù)進(jìn)行一些歸類和簡(jiǎn)單計(jì)算并將結(jié)果存入一個(gè)中間表格中，以便其它模塊進(jìn)行后續(xù)處理，進(jìn)而分析預(yù)測(cè)等模塊根據(jù)報(bào)告專題及時(shí)間界限進(jìn)行相應(yīng)的處理，其結(jié)果放入中間表。而后由一個(gè)智能分析模塊根據(jù)中間表的數(shù)據(jù)在知識(shí)引導(dǎo)下生成報(bào)告大綱，最后依據(jù)報(bào)告大綱、中間表數(shù)據(jù)以及描述報(bào)告文本的模板，報(bào)告生成模塊生成報(bào)告文本、控制文本以及解釋文本。 報(bào)告生成子系統(tǒng)中的知識(shí)有規(guī)則、模板等表示形式。規(guī)則 采用類自然語(yǔ)言形式的產(chǎn)生式表示，在哪些情況下由它控制，在報(bào)告中就包括中就應(yīng)當(dāng)包括那些隨機(jī)報(bào)告的內(nèi)容。常規(guī)報(bào)告由模板來(lái)描述，模板由 4 個(gè)層次組成：專題、段、短語(yǔ)和單元。專題是針對(duì)某一個(gè)特定主題的所有報(bào)告內(nèi)容，段是專題中描述某一個(gè)段落；短語(yǔ)是一個(gè)段中存在相互關(guān)系的一些句子的組合；單元是報(bào)告模板的最小單位。模板中的單元又分為文本單元和控制單元。文本單元定義報(bào)告文本內(nèi)容及其由數(shù)據(jù)查詢和分析得到結(jié)果?？刂茊卧饕菙?shù)據(jù)前端展示以及三維復(fù)雜模型實(shí)時(shí)動(dòng)態(tài)顯示和可視化的同步要求。 5) 報(bào)告發(fā)布 業(yè)務(wù)人員生成符合統(tǒng)計(jì)及業(yè)務(wù)需求的專 業(yè)報(bào)表，最后將報(bào)表保存為 HTML格式，然后通過(guò)所見(jiàn)即所得的網(wǎng)頁(yè)編輯器進(jìn)行編輯，通過(guò)排版或者美化，并經(jīng)過(guò)審批，利用報(bào)告發(fā)布系統(tǒng)將其發(fā)布到內(nèi)外網(wǎng)站中。 6) 報(bào)告查詢 瀏覽者不但可通過(guò)瀏覽器上的分類系統(tǒng)來(lái)定位報(bào)表，同時(shí)也可以通過(guò)檢索系統(tǒng)，按照一定的條件進(jìn)行查詢。 . 駕駛艙 駕駛艙主要面向決策層領(lǐng)導(dǎo)，圍繞 KPI 指標(biāo)，通過(guò)電子地圖、儀表盤、電子報(bào)告、圖表等方式給領(lǐng)導(dǎo)層以最直觀的數(shù)據(jù)展現(xiàn)，便于了解當(dāng)前國(guó)民經(jīng)濟(jì)整體運(yùn)營(yíng)情況的概貌，根據(jù)領(lǐng)導(dǎo)分工和權(quán)限不同，可以個(gè)性化定義領(lǐng)導(dǎo)關(guān)心的 KPI指標(biāo)， 領(lǐng)導(dǎo)的管理駕駛艙如下圖所示： . 圖 表分析 與監(jiān)測(cè)預(yù)警 . 圖表 分析 具有強(qiáng)大的圖形展現(xiàn)能力，除支持常規(guī)圖形，如：柱狀圖、曲線圖、散點(diǎn)圖、分區(qū)面積圖、堆積圖、餅圖、卡特圖外，還支持三維圖、企業(yè)駕駛艙、交通燈、雷達(dá)圖、瀑布圖、工程進(jìn)度圖、動(dòng)態(tài)地圖（ MAP），等特色圖形展現(xiàn)。如下圖：支持多個(gè)條件選擇，將結(jié)果根據(jù)不同的需求以不同的圖形類型展現(xiàn)出來(lái)。 氣泡圖 3D 圖分析 氣泡圖劃分 同比分析 ? 趨勢(shì)分析 分析一個(gè)指標(biāo)在一定時(shí)間周期的變化趨勢(shì)，一般以折線圖方式顯示。 ? 對(duì)比分析 對(duì)不同指標(biāo)在一定條件下，進(jìn)行對(duì)比分析，以直方圖或圓餅圖展示。 . 預(yù)測(cè)與預(yù)警 允許用戶手工輸入報(bào)警范圍。支持維度的多層次顯示。提供多種形式的報(bào)警，如傳統(tǒng)報(bào)警方式 ——改變數(shù)據(jù)字體、背景。并且提供一種全新的報(bào)警方式 ——紅綠燈。如下圖：支持行業(yè)到公司的分層次顯示，允許用戶輸入報(bào)警范圍，根據(jù)預(yù)先設(shè)定的報(bào)警條件顯示不同級(jí)別的紅綠燈。 . 異常預(yù)警 根據(jù)指標(biāo)值所處的范圍，分別以不同顏色顯示，達(dá)到預(yù)警的目的。 . 決策分析 依據(jù)行業(yè)的數(shù)據(jù)特征，提供如決策樹(shù)模型、斯諾模型、線性回歸模型等常用的決策分析模型，實(shí)現(xiàn)對(duì)統(tǒng)計(jì)數(shù)據(jù)的決策分析。 . 決策樹(shù)模型 通過(guò)對(duì)統(tǒng)計(jì)數(shù)據(jù)分類標(biāo)準(zhǔn)的梳理，結(jié)合 決策樹(shù)模型 實(shí)現(xiàn)對(duì)統(tǒng)計(jì)數(shù)據(jù)的 分類系統(tǒng)，此分類系統(tǒng)可以基于一組決策規(guī)則來(lái)預(yù)測(cè)或分類未來(lái)的觀測(cè)值。如果將數(shù)據(jù)分成 專業(yè)用戶 關(guān)注的類別（例如， 工業(yè)總產(chǎn)值可以按行政區(qū)劃、輕重工業(yè)等類型劃分 ），可以使用自己的 歷史統(tǒng)計(jì) 數(shù)據(jù)來(lái)構(gòu)建規(guī)則，借此對(duì) 新采集到的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行準(zhǔn)確性最大的分類。 以判斷各類別數(shù)據(jù)未來(lái)的走勢(shì)及類別比例劃分對(duì)未來(lái)趨勢(shì)的影響 。 如下圖： . 柯布 — 道格拉斯生產(chǎn)函 數(shù) 柯布 — 道格拉斯生產(chǎn)函數(shù)最初是美國(guó)數(shù)學(xué)家柯布 ()和經(jīng)濟(jì)學(xué)家保羅道格拉斯 ()共同探討