數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺研究教材-文庫吧在線文庫
【正文】 例如，設(shè)計(jì)寬表結(jié)構(gòu)將 人員信息、干部信息等多個表的數(shù)據(jù)合并起來）和匯總 （例如，一些常用的人頭匯總、機(jī)構(gòu)匯總等）；從而提高 數(shù)據(jù)倉庫查詢的性能。 ? 維度建模法采用事實(shí)表 — 維表的方式來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市、 事實(shí)表存儲實(shí)際的數(shù)據(jù)，維表存儲事實(shí)表中對象的屬性，事實(shí)表 和維表的關(guān)聯(lián)關(guān)系常用的是 “星型模型 ”。版本表示同一事物歷史狀態(tài)的順 序，開始時間和結(jié)束時間表示在該段時間內(nèi)該事物處于某一 狀態(tài)，每一條數(shù)據(jù)的結(jié)束時間等于新數(shù)據(jù)的開始時間，這樣 該事物不同時間段的狀態(tài)就分布在一條時間軸上，從而可以 得到任一時間點(diǎn)該事物的狀態(tài)信息 數(shù)據(jù)倉庫建模 統(tǒng)計(jì)數(shù)據(jù)模型 ? 確定統(tǒng)計(jì)相關(guān)的星型模型，即數(shù)據(jù)統(tǒng)計(jì)針對的是事實(shí)表中間的那 些事實(shí)，涉及到哪些統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)的粒度如何。 ETL處理 ? 數(shù)據(jù)轉(zhuǎn)換 ? 主要是為了將數(shù)據(jù)清洗后的數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫所需要的數(shù) 據(jù)：來源于不同源系統(tǒng)的同一數(shù)據(jù)字段的數(shù)據(jù)字典或者數(shù)據(jù) 格式可能不一樣，在數(shù)據(jù)倉庫中需要給它們提供統(tǒng)一的數(shù)據(jù) 字典和格式，對數(shù)據(jù)內(nèi)容進(jìn)行歸一化；另一方面，數(shù)據(jù)倉庫 所需要的某些字段的內(nèi)容可能是源系統(tǒng)所不具備的，而是需 要根據(jù)源系統(tǒng)中多個字段的內(nèi)容共同確定； ? 例如，數(shù)據(jù)倉庫中的人員類型 “事業(yè)單位專業(yè)技術(shù)人員 ”實(shí)際上是 根據(jù)人事表中 “編制類型 =事業(yè)單位 ”、 “崗位級別 =985”并且 “人員類別 =在職職工 ”等多個字段的內(nèi)容共同得出的，像這樣字段 的形成也依賴于數(shù)據(jù)轉(zhuǎn)換 ETL處理 ? 考察的工具 ? ColverETL:開源 ETL工具，免費(fèi)版本支持的連接組件太少 （ Pass） ? Kettle: 功能完善，組件齊全的處理平臺 ? Talend: 功能完善，組件齊全的處理平臺 ? Jitterbit: ETL工具，但是功能比較簡單，維護(hù)、日志、監(jiān)控等 功能缺乏 ? Apatar: ETL工具，非服務(wù)器結(jié)構(gòu)，適合單機(jī)版本開發(fā)小的 ETL程序 ? OpenDigger： ETL工具，非圖形化接口 ? Spring batch：主要用于實(shí)現(xiàn)調(diào)度平臺，配置方法和 spring 工具 ETL處理 ETL處理 ? Kettle優(yōu)勢 ? ? ? ? LGPL License限制較為寬松 免費(fèi)的 Repository使得版本管理和代碼遷移非常容易 任務(wù)調(diào)度支持定時 ,時間和命令 支持 Job Duplication ETL處理 ? Talend優(yōu)勢 ? 接口支持非常豐富，包括：各種數(shù)據(jù)庫，文件 (Excel CSV Jason XML Mail等 )，外圍系統(tǒng) (SAP,CRM,FTP,SCP,JMS等 )，網(wǎng)絡(luò) (WS,Socket,RPC,RSS,SOAP等 )，流 (Buffer, Row) ? 有若干高性能組件如：外排序，批量插入 (如 SQLLoader) ? 結(jié)構(gòu)簡單，只發(fā)布 jar包 前臺展示 ? 常見的數(shù)據(jù)倉庫的前端展示工具有 BO、 Cognos等，能基 于 Web 的直觀界面，能提供報(bào)表、圖表、儀表盤等多種展 示方式。 04:30:0804:30:0804:30Tuesday, March 28, 2023 1乍見翻疑夢，相悲各問年。 04:30:0804:30:0804:303/28/2023 4:30:08 AM 1成功就是日復(fù)一日那一點(diǎn)點(diǎn)小小努力的積累。 上午 4時 30分 8秒 上午 4時 30分 04:30: 楊柳散和風(fēng)，青山澹吾慮。 2023年 3月 上午 4時 30分 :30March 28, 2023 1業(yè)余生活要有意義，不要越軌。 04:30:0804:30:0804:30Tuesday, March 28, 2023 1知人者智，自知者明。 2023年 3月 28日星期二 上午 4時 30分 8秒 04:30: 1楚塞三湘接，荊門九
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1