【導讀】DreamBI大數(shù)據(jù)分析平臺

　　

【正文】 ，并重新裝載新的數(shù)據(jù)。 ? 在裝載過程中，一般會用到四種方式： ? 裝載：如果要裝載的目標表已經(jīng)存在，而且也有數(shù)據(jù)存在于表中，裝載過程就會抹去已有的數(shù)據(jù)，應用輸入文件中新的數(shù)據(jù)。如果裝載的目標是個空表，就直接應用來自輸入文件的數(shù)據(jù)。 ? 追加：若表中已經(jīng)存在數(shù)據(jù)，追加過程會無條件地增加輸入數(shù)據(jù)，并在目標表中保存已有的數(shù)據(jù)。當存在記錄重復情況時，需要定義如何處理重復的輸入數(shù)據(jù)的記錄副本（可以作為副本增加進去，也可以將其丟棄）。 ? 破壞性合并：如果輸入數(shù)據(jù)記錄的主鍵與已有記錄互相匹配，就對匹配的目標記錄進行更新，如果沒有匹配的目標紀錄，就將輸入記錄添加入目標表。 ? 建設性合并：如果數(shù)據(jù)記錄的主鍵與已有記錄匹配，就保留已有記錄，加入輸入的記錄，并將增加的記錄標記為舊記錄的替代。 . 規(guī)則維護 ETL 指的是數(shù)據(jù)提取 (Extraction), 變換 (Transformation)和加載 (Loading)全過程。 ETL 系統(tǒng)按照預先定義的任務定時調度表，定期自動把各個業(yè)務系統(tǒng)的新增數(shù)據(jù)經(jīng)過轉換后，加載到 數(shù)據(jù)庫 。 ETL 功能是提供 數(shù)據(jù)庫 信息內容的前期工 作，它改造了來自數(shù)據(jù)源的相關數(shù)據(jù)，將它們變成有用的信息存儲在 數(shù)據(jù)庫 中。沒有這些功能，就沒有 數(shù)據(jù)庫 中的戰(zhàn)略信息。如果沒有對源數(shù)據(jù)進行正確的抽取、清洗和用正確的格式進行整合，作為 數(shù)據(jù)庫 中樞功能的查詢和分析處理就不能進行。 廣義說來， ETL 系統(tǒng)將貫穿整個 數(shù)據(jù)庫 的全過程。但通常情況下， ETL 指的是從抽取源數(shù)據(jù)到載入 數(shù)據(jù)庫 DW 層這期間對數(shù)據(jù)的加工處理過程。 ETL 子系統(tǒng)中數(shù)據(jù)轉換規(guī)則和數(shù)據(jù)映射規(guī)則需通過分析 數(shù)據(jù)庫 中的數(shù)據(jù)結構和源系統(tǒng)中的數(shù)據(jù)結構設計得出，并把這些規(guī)則存儲在元數(shù)據(jù)庫中。 ETL 在整個 數(shù)據(jù)庫 中占有非常重要 的地位。從分析質量來看，及時可靠的分析數(shù)據(jù)影響著整個系統(tǒng)的準確程度。從工作量上來看，一旦 數(shù)據(jù)庫 系統(tǒng)建成，ETL 工作時間最高可占全部 數(shù)據(jù)庫 系統(tǒng)的 60%。 在該項目中，基于元數(shù)據(jù)的基礎在，實現(xiàn)數(shù)據(jù) ETL 的設置與實現(xiàn)。主要包括的功能如下： 數(shù)據(jù)源維護 利用元數(shù)據(jù)管理的方式，描述數(shù)據(jù)源的數(shù)據(jù)信息，并支持多種類型的數(shù)據(jù)源： ? Oracle 服務器。 ? MS SQLServer 服務器，網(wǎng)上直報系統(tǒng) v3。 ? Txt 數(shù)據(jù)源，網(wǎng)上直報系統(tǒng)導出文件。 ? Excel數(shù)據(jù)源，部分專業(yè)系統(tǒng)的導出文件及各區(qū)的部分上報文件格式。 ? VFP 數(shù)據(jù)源，部分專業(yè)系統(tǒng)的導出文件及各區(qū)的部分上報文件格式。 系統(tǒng)參數(shù) 通過該模塊，用戶可以維護在 ETL 過程中，需要用戶額外制定的數(shù)值變量，如數(shù)據(jù)源中沒有當前月份，所屬區(qū)縣等信息的情況下，可以在系統(tǒng)參數(shù)中，進行設置。 指標元數(shù)據(jù)對應關系 通過拖拽的方式，設置數(shù)據(jù)源的元數(shù)據(jù)與目標數(shù)據(jù)的對應關系，系統(tǒng)可通過指標元數(shù)據(jù)名稱、綁定字段名成等信息，自動匹配對應關系。 同時，可以對元數(shù)據(jù)間的對應關系設置高級屬性： 在高級屬性中，用戶可以對數(shù)據(jù)源的信息進行進一步處理，同時可以設置數(shù)據(jù)轉換關系，以及是否導入的條件。 在對應關系的高級選項中，用戶可以設置每次導入的紀錄數(shù)，以及導入方式，包括： 增量導入、更新導入、根據(jù)主建增量導入或更新導入。 ETL 任務 通過維護 ETL 任務，設置 ETL 啟動的方式、數(shù)據(jù)導入順序、計劃時間、數(shù)據(jù)文件、系統(tǒng)參數(shù)、以及審核條件。 在計劃列表中，用戶選擇本次 ETL 任務需要用到的對應關系，并且要設置關系導入的順序。 如果該 ETL 任務是需要定時啟動的，則要在計劃時間中，設置定時屬性。 如果數(shù)據(jù)源需要用戶提供文件，如 txt 文件、 excel文件或者 vfp 的 dbf 文件等，則要在數(shù)據(jù)文件中，羅列出需要用戶提供的文件列表以及向對應于 ETL 服務器中所對應的文件目錄。 設置用戶在啟動 ETL 的時候，需要提交的參數(shù)。 審核條件中，用戶可以選擇數(shù)據(jù)導入的過程中，需要那些審核條件來對數(shù)據(jù)進行審核。 . 數(shù)據(jù)梳理和加載 數(shù)據(jù)抽取、清洗與加載的過程可以通過兩種方式來啟動，人工和定時。 ? 定時方式： ETL 服務器會根據(jù)計劃任務時間的設置，定時啟動 ETL，并在任務結束后，通過統(tǒng)一短信平臺通知相關人員。 ? 人工啟動： 用戶可以在 ETL 任務列表中，通過向導啟動所選任務，同時根據(jù)任務設置，提供相應需要的文件以及設置系統(tǒng)參數(shù)，如下圖： 根據(jù)向導提示，選擇需要需要導入的文件并上傳。 根據(jù) ETL 任務需要提供的系統(tǒng)參數(shù)，填寫參數(shù)值，然后啟用 ETL 任務。 . 統(tǒng)計分析平臺 . 多維在線分析 為用戶提供可視化、簡單易用的報表工具，通過鼠標拖拽的方式，實現(xiàn)復雜多變的報表需要；維度、指標可以任意組合；可以任意鉆取和切片；報表格式能迅速以所見即所得方式進行顯示。同時支持圖標、報表等多種顯示形式。 通過拖拽方式的可視化界面，實現(xiàn)數(shù)據(jù)的統(tǒng)計以及分類匯總 （ 1）、通過查詢模版設置與統(tǒng)計報表設置的結合，實現(xiàn)條件查詢、模糊查詢、組合查詢、關鍵字搜索。 （ 2）、同時支持 Excel， Html 格式的報表導出導出。同時導出的文件保持表頭、列頭固定。 （ 3）、支持行列互換。 （ 4）、支持對數(shù)據(jù)的上鉆、下鉆操作。 （ 5）、支持多指標，多維度的并列或者交叉顯示，逐層合計匯總。 （ 6）、支持多種類型的圖表展現(xiàn)，以及報表數(shù)據(jù)與圖表之間的互動。 . 即席查詢 即席查詢功能提供一個靈活的查詢工具，用戶可以根據(jù)自己的需要 ，靈活的設置查詢項及查詢條件，同時支持查詢條件的任意組合及與或關系。 1) 自由的選擇查詢項 2) 查詢條件的自由設置與任意組合，同時支持介于、屬于列表等條件設置。 3) 查詢結果的排序項可設置多個，并支持單獨設置升降序。 4) 查詢條件可保存成查詢模板。 5) 支持各種類型發(fā)布，包括生成 EXCEL、 HTML 等功能； excel 需要能夠保留格式； html需要支持固定主欄、賓欄功能； . 智能報表 為各級 業(yè)務 人員和管理人員提供面向數(shù)據(jù)中心的高效、靈活的報表功能，實現(xiàn)報表制作、報送的隨需而變，報表展現(xiàn)做到靈活多變，可按不同的指標、特征、不同的時間段進行對比分析，可做到 N 年內數(shù)據(jù)同期對比，目標與實際數(shù)據(jù)對比，季度對比、累計對比，結合圖形展現(xiàn)方式，如儀表盤、圓餅圖、直方圖、曲線圖等可視圖形，為上層決策帶來可靠的依據(jù)。實現(xiàn)任意選擇不同的指標值查看匯總數(shù)據(jù)，且能往下鉆取挖掘數(shù)據(jù)，查看到每一條明細值。系統(tǒng)實施后，報表設計可以由業(yè)務部門人員自行設計，操作盡量簡單，不需要 IT 人員的過多參與。能做到 B/S 方式瀏覽報表。功能包括： . 報表生成 報表生成模塊的功能包括報表數(shù)據(jù)生成、報表生成、報表發(fā)布。 6) 數(shù)據(jù)生成 在 ODS 基礎上建立報表集市，報表集市內的數(shù)據(jù)來源是由報表類型決定的，對指標型報表，通常是固定格式的報表，其內的數(shù)據(jù)是根據(jù)業(yè)務要求，定期地對指標對應的事實表進行運算，計算各指標值到相應的報表集市；統(tǒng)計型報表，是從相關事實表進行匯總生成報表集市數(shù)據(jù)；分析型報表，一部分可以采用與統(tǒng)計型報表相同的數(shù)據(jù)生成方式，另一部分可以借助數(shù)據(jù)立方體進行提取生成。 7) 報表生成 報表生成，是借用應用服務（應用開發(fā)實現(xiàn)）或報表服務（報表工具提供），對報表數(shù) 據(jù)進行展現(xiàn)。報表在運行時生成，即應用服務或報表服務根據(jù)用戶的輸入生成報表。 8) 報表發(fā)布 采用報表服務生成的報表，要發(fā)布到報表服務器才能被用戶訪問。發(fā)布時要做相應的權限控制。 . 報表查詢 報表查詢模塊允許授權用戶通過 WEB或客戶端從遠端查看需要的報表信息，并且允許進行在線的數(shù)據(jù)分析和綜合；包括用戶權限驗證、報表展示等。 報表展現(xiàn)，支持圖表結合顯示，能導出 EXCEL 格式文件和 PDF 格式文件，對統(tǒng)計與分析型報表支持分頁顯示。 . 報表類型 包括： 1) 業(yè)務報表 業(yè)務報表是各業(yè)務部門日常工作中頻繁使用的固定格式報表，通常需要分發(fā)給許多的相關用戶。這類報表應當由系統(tǒng)批量產生，并根據(jù)預先設定的規(guī)則自動發(fā)送給相關接收者 (通過郵件 )。所發(fā)送的報表可以瀏覽和打印。 2) 分析報表 分析報表是具有很強交互性、帶有查詢功能的報表。這類報表允許使用者自己輸入查詢、過濾排序等條件，從而得到不同時期的相關信息。分析報表通常需要使用者來運行，對于得到的結果可以保存、瀏覽和打印。分析報表能通過到對歷史數(shù)據(jù)進行智能分析，并預測未來的發(fā)展形勢。 3) 月度小冊子和年度快報 月度小冊子和年度快報分別是每月 和每年出版的刊物，其中包含幾十張報表，有固定格式，要求從數(shù)據(jù)庫中自動生成。 . 報告管理 報告包括月報，季報，年鑒以及自定義報告部分組成，通過對來自各種數(shù)據(jù)源的數(shù)據(jù)去偽存真的分析研究、加工修飾以后，制作用戶需要和例行分析的各種數(shù)據(jù)、圖表和報告等。該子系統(tǒng)的功能覆蓋了目前大部分的手工報表功能。然后通過信息采編，對信息進行組合，形成報告文本，通過授權向有關人員和部門發(fā)布報告。 4) 報告輔助生成（ Report Aided Generation ） 為用戶提供報告輔助生成工具，結合數(shù)據(jù)共享平臺、知識庫、模型庫，在此基礎上， 為用戶提供一個報告輔助生成系統(tǒng)，為用戶撰寫分析報告提供方便。 文字報告的自動生成是一個較為復雜的過程，大體描述如下：首先由一個預處理模塊將原始數(shù)據(jù)進行一些歸類和簡單計算并將結果存入一個中間表格中，以便其它模塊進行后續(xù)處理，進而分析預測等模塊根據(jù)報告專題及時間界限進行相應的處理，其結果放入中間表。而后由一個智能分析模塊根據(jù)中間表的數(shù)據(jù)在知識引導下生成報告大綱，最后依據(jù)報告大綱、中間表數(shù)據(jù)以及描述報告文本的模板，報告生成模塊生成報告文本、控制文本以及解釋文本。 報告生成子系統(tǒng)中的知識有規(guī)則、模板等表示形式。規(guī)則 采用類自然語言形式的產生式表示，在哪些情況下由它控制，在報告中就包括中就應當包括那些隨機報告的內容。常規(guī)報告由模板來描述，模板由 4 個層次組成：專題、段、短語和單元。專題是針對某一個特定主題的所有報告內容，段是專題中描述某一個段落；短語是一個段中存在相互關系的一些句子的組合；單元是報告模板的最小單位。模板中的單元又分為文本單元和控制單元。文本單元定義報告文本內容及其由數(shù)據(jù)查詢和分析得到結果?？刂茊卧饕菙?shù)據(jù)前端展示以及三維復雜模型實時動態(tài)顯示和可視化的同步要求。 5) 報告發(fā)布 業(yè)務人員生成符合統(tǒng)計及業(yè)務需求的專 業(yè)報表，最后將報表保存為 HTML格式，然后通過所見即所得的網(wǎng)頁編輯器進行編輯，通過排版或者美化，并經(jīng)過審批，利用報告發(fā)布系統(tǒng)將其發(fā)布到內外網(wǎng)站中。 6) 報告查詢 瀏覽者不但可通過瀏覽器上的分類系統(tǒng)來定位報表，同時也可以通過檢索系統(tǒng)，按照一定的條件進行查詢。 . 駕駛艙 駕駛艙主要面向決策層領導，圍繞 KPI 指標，通過電子地圖、儀表盤、電子報告、圖表等方式給領導層以最直觀的數(shù)據(jù)展現(xiàn)，便于了解當前國民經(jīng)濟整體運營情況的概貌，根據(jù)領導分工和權限不同，可以個性化定義領導關心的 KPI指標， 領導的管理駕駛艙如下圖所示： . 圖 表分析 與監(jiān)測預警 . 圖表 分析 具有強大的圖形展現(xiàn)能力，除支持常規(guī)圖形，如：柱狀圖、曲線圖、散點圖、分區(qū)面積圖、堆積圖、餅圖、卡特圖外，還支持三維圖、企業(yè)駕駛艙、交通燈、雷達圖、瀑布圖、工程進度圖、動態(tài)地圖（ MAP），等特色圖形展現(xiàn)。如下圖：支持多個條件選擇，將結果根據(jù)不同的需求以不同的圖形類型展現(xiàn)出來。 氣泡圖 3D 圖分析 氣泡圖劃分 同比分析 ? 趨勢分析 分析一個指標在一定時間周期的變化趨勢，一般以折線圖方式顯示。 ? 對比分析 對不同指標在一定條件下，進行對比分析，以直方圖或圓餅圖展示。 . 預測與預警 允許用戶手工輸入報警范圍。支持維度的多層次顯示。提供多種形式的報警，如傳統(tǒng)報警方式 ——改變數(shù)據(jù)字體、背景。并且提供一種全新的報警方式 ——紅綠燈。如下圖：支持行業(yè)到公司的分層次顯示，允許用戶輸入報警范圍，根據(jù)預先設定的報警條件顯示不同級別的紅綠燈。 . 異常預警 根據(jù)指標值所處的范圍，分別以不同顏色顯示，達到預警的目的。 . 決策分析 依據(jù)行業(yè)的數(shù)據(jù)特征，提供如決策樹模型、斯諾模型、線性回歸模型等常用的決策分析模型，實現(xiàn)對統(tǒng)計數(shù)據(jù)的決策分析。 . 決策樹模型 通過對統(tǒng)計數(shù)據(jù)分類標準的梳理，結合 決策樹模型 實現(xiàn)對統(tǒng)計數(shù)據(jù)的 分類系統(tǒng)，此分類系統(tǒng)可以基于一組決策規(guī)則來預測或分類未來的觀測值。如果將數(shù)據(jù)分成 專業(yè)用戶 關注的類別（例如， 工業(yè)總產值可以按行政區(qū)劃、輕重工業(yè)等類型劃分 ），可以使用自己的 歷史統(tǒng)計 數(shù)據(jù)來構建規(guī)則，借此對 新采集到的統(tǒng)計數(shù)據(jù)進行準確性最大的分類。 以判斷各類別數(shù)據(jù)未來的走勢及類別比例劃分對未來趨勢的影響 。 如下圖： . 柯布 — 道格拉斯生產函 數(shù) 柯布 — 道格拉斯生產函數(shù)最初是美國數(shù)學家柯布 ()和經(jīng)濟學家保羅道格拉斯 ()共同探討