數(shù)據(jù)倉(cāng)庫(kù)技術(shù)知識(shí)培訓(xùn)-閱讀頁(yè)
2025-01-20 01:47本頁(yè)面
【正文】 螺旋式的上升 。 所不同的是 ， 今天的數(shù)據(jù)倉(cāng)庫(kù)不必再為聯(lián)機(jī)事務(wù)處理的特性而奔忙 ， 由于技術(shù)的專業(yè)化 ， 它可更專心于聯(lián)機(jī)分析領(lǐng)域的發(fā)展和探索 。 由于數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境 ， 它需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng) 、 外部數(shù)據(jù)源、 脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù) 。 數(shù)據(jù)的抽?。?2） ?數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)并不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)保持實(shí)時(shí)同步 ， 因此數(shù)據(jù)抽取可以定時(shí)進(jìn)行， 但多個(gè)抽取操作執(zhí)行的時(shí)間 、 相互的順序 、成敗對(duì)數(shù)據(jù)倉(cāng)庫(kù)中信息的有效性則至關(guān)重要 。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù) ， 同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式 。 信息探索 ?信息探索實(shí)際上相當(dāng)于數(shù)據(jù)倉(cāng)庫(kù)的門面 ， 其性能主要集中在多維分析 、 數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘方面 。 數(shù)據(jù)集市 ODS 近線存儲(chǔ)器 探索 倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)的組成 ETL 自動(dòng)處理數(shù)據(jù) 集成和轉(zhuǎn)換 1 2 3 4 通過(guò)不干凈的遺留系統(tǒng)； 不合適的集成； 數(shù)據(jù)倉(cāng)庫(kù)的過(guò)期； 用戶需求的改變。 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的另一種定義 它是一種可信的企業(yè)數(shù)據(jù)庫(kù)平臺(tái) , 這些數(shù)據(jù)來(lái)自于各種各樣的數(shù)據(jù)源 ,并且在經(jīng)過(guò)抽取、清洗和轉(zhuǎn)換后根據(jù)用戶的查詢適時(shí)地提供給用戶。 SAS快速數(shù)據(jù)倉(cāng)庫(kù)方法 快速數(shù)據(jù)倉(cāng)庫(kù)方法的重點(diǎn) ?必須得到企業(yè)高層領(lǐng)導(dǎo)的支持和幫助； ?不依賴于技術(shù)，而是一個(gè)業(yè)務(wù)過(guò)程； ?以業(yè)務(wù)為中心，并且由業(yè)務(wù)驅(qū)動(dòng)，業(yè)務(wù)用戶全程參與； ?按照約定好的規(guī)則實(shí)施； ?以迭代式方法實(shí)現(xiàn)，全局考慮，局部實(shí)施 (Think big, Start small)； 快速數(shù)據(jù)倉(cāng)庫(kù)方法的重點(diǎn)（續(xù)） ?采用快速應(yīng)用開(kāi)發(fā)方法 (RAD)； ?允許柔性和動(dòng)態(tài)收集需求； ?首先尋求第一個(gè)快速成功的數(shù)據(jù)集市； ?借助優(yōu)良的項(xiàng)目管理方法幫助； ? 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的前景和目標(biāo) ? 數(shù)據(jù)倉(cāng)庫(kù)成功的因素 (如果可能算出 ROI) ? 業(yè)務(wù)過(guò)程和業(yè)務(wù)驅(qū)動(dòng) ? IT 的基礎(chǔ)架構(gòu) (當(dāng)前和未來(lái) ) ? 用戶需求分析（數(shù)據(jù)需求、信息需求、報(bào)表和分析需求、探索需求以及信息供給需求） 企業(yè)關(guān)鍵的評(píng)估項(xiàng)目 ? 數(shù)據(jù)倉(cāng)庫(kù)規(guī)模和增長(zhǎng)性 ? 宏觀的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的物理和邏輯模型 ? 主題區(qū)域和實(shí)施優(yōu)先級(jí) ? 具體實(shí)施方案 ? 任務(wù)和責(zé)任 ? 首先實(shí)施的主題以及它的項(xiàng)目計(jì)劃 企業(yè)關(guān)鍵的評(píng)估項(xiàng)目（續(xù)） 設(shè)計(jì)階段 : 維數(shù)據(jù)模型 ?維 數(shù)據(jù)模型（邏輯） – 提供更詳細(xì)的數(shù)據(jù)視圖（邏輯） – 包括一個(gè)實(shí)體列表 ?多維 ?事實(shí) / 測(cè)量值 – 描述實(shí)體之間的關(guān)系 – 提供每一個(gè)實(shí)體的屬性列表 – 包括 維 數(shù)據(jù)模型的圖形表示 – 業(yè)務(wù)用戶更容易理解 – 能夠很好地匹配目標(biāo)模型 ?物理倉(cāng)庫(kù)數(shù)據(jù)模型可以利用 – 范式模型 – 匯總表 – 預(yù)先合并的視圖和表 – 星型模式 – 雪花模式 – 星型 雪花模式 – 多維數(shù)據(jù)模型 (MDDBs) – 非結(jié)構(gòu)化的數(shù)據(jù) /文檔 – 上述各種模型的混合使用 設(shè)計(jì)階段 : 物理模型 范式模型 MDDBs 星型模式 雪花模式 星型 雪花模式 匯總表 視圖 非結(jié)構(gòu)化數(shù)據(jù) ?企業(yè)數(shù)據(jù)倉(cāng)庫(kù) – 范式化的 ER模型 – 雪花及星型 雪花模式 – 匯總表 – 預(yù)先合并的視圖 ?部門數(shù)據(jù)倉(cāng)庫(kù) /數(shù)據(jù)集市 – 匯總表 – 預(yù)先合并的視圖和表 – 多維數(shù)據(jù)倉(cāng)庫(kù)（ MDDBs） – 星型模式 – 雪花及星型 雪花模式 設(shè)計(jì)階段 : 物理模型的適配性 不是設(shè)計(jì)用于直接用戶的查詢 設(shè)計(jì)用于特定的業(yè)務(wù)用戶查詢 為什么大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目會(huì)失?。? ?缺乏領(lǐng)導(dǎo)支持（沒(méi)有領(lǐng)導(dǎo)理解和支持） ?缺乏業(yè)務(wù)用戶自始至終的項(xiàng)目參與 ?業(yè)務(wù)單位之間缺乏協(xié)調(diào)和努力 ?初始范圍過(guò)于廣泛和詳細(xì) (投入過(guò)大 , 難于調(diào)整等 ) ?數(shù)據(jù)質(zhì)量較差 (遺留的和現(xiàn)時(shí)的系統(tǒng) ) ?缺乏有效合理的實(shí)施力量 (例如：缺乏項(xiàng)目管理手段、任務(wù)和責(zé)任不明確等等） 搭建面向主題的信息架構(gòu)； 綜合統(tǒng)計(jì)報(bào)表、信息查詢； 常規(guī)數(shù)據(jù)分析（成本、財(cái)務(wù)、市場(chǎng)、銷售、? ），聯(lián)機(jī)分析處理，多維信息查詢； 決策支持系統(tǒng)、專家系統(tǒng)、 ?。 關(guān)系管理（客戶、供應(yīng)商、訪問(wèn)者、 ?) 數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)； ?... 數(shù)據(jù)倉(cāng)庫(kù)相關(guān)領(lǐng)域的應(yīng)用 及時(shí)獲取生產(chǎn)管理綜合信息，為決策者提供科學(xué)分析依據(jù)； 改善管理能力，可以得到憑直覺(jué)無(wú)法得到的結(jié)論； 對(duì)轉(zhuǎn)瞬即逝的機(jī)會(huì)快速作出反應(yīng)，提高競(jìng)爭(zhēng)能力； 既能夠管理宏觀信息也能夠管理微觀數(shù)據(jù)，可以追朔歷史； 數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)點(diǎn) 建立企業(yè)內(nèi)部各部門之間的合作關(guān)系 。 開(kāi)拓了進(jìn)一步探索和研究的廣闊空間 – 數(shù)據(jù)倉(cāng)庫(kù)支持進(jìn)一步的探究，以發(fā)現(xiàn)數(shù)據(jù)所形成的趨勢(shì)、構(gòu)成的模式及其間的關(guān)系，這可引導(dǎo)用戶改進(jìn)現(xiàn)行的業(yè)務(wù)處理過(guò)程或作出正確的決策 。 數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)點(diǎn)（續(xù)） 投資回報(bào)率匯總結(jié)果 平均投資回報(bào)率 收回投資的平均時(shí)間 企業(yè) Source: IDC, The Foundations of Wisdom, 1996 321% 年 制造業(yè)的 ROI平均值高于其他行業(yè) 內(nèi)容提要 ?動(dòng)機(jī)與需求 ?數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ?數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐 ?結(jié)束語(yǔ) “ 從 10%的人花 100%的時(shí)間使用工具 到 100%的人花 10%的時(shí)間使用工具.” SoundView Financial Group Business Intelligence Report 信息用戶所面臨的變化 信息生產(chǎn)者 信息消費(fèi)者 高級(jí)用戶 IT人員 報(bào)表查閱者 活躍的分析人員 報(bào)表用戶 企業(yè)信息環(huán) ? 業(yè)務(wù)用戶 希望得到的不僅是一個(gè)含有正確信息的報(bào)表，并且需要能進(jìn)一步分析及格式化報(bào)表的基本的功能，以滿足其特定的需要。 ? IT人員 希望能為企業(yè)中的任何人、在任何地方提供對(duì)數(shù)據(jù)的訪問(wèn)，或向他們進(jìn)行發(fā)布，同時(shí)減少他們自己堆集如山的報(bào)表和管理的麻煩。 對(duì)公司信息環(huán)境的影響 從數(shù)據(jù)到信息到知識(shí) Source: Data Warehouse Network, June 1997. 業(yè)務(wù)增值 信息管理成熟期 數(shù)據(jù) 信息 知識(shí) 自動(dòng)控制 創(chuàng)新 適應(yīng) 成本降低 操作系統(tǒng) 收入增加 決策支持系統(tǒng) 市場(chǎng)領(lǐng)先 面向客戶的系統(tǒng) F 一些組織已經(jīng)進(jìn)入知識(shí)發(fā)現(xiàn)階段。 構(gòu)造優(yōu)化的企業(yè)信息環(huán)境 4 質(zhì)量 生產(chǎn) 銷售 能源 設(shè)備 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)數(shù)據(jù)集市 財(cái)務(wù) 業(yè)務(wù) 技術(shù)元數(shù)據(jù) 操作環(huán)境 數(shù)據(jù)倉(cāng)庫(kù)環(huán)境 市場(chǎng) 個(gè)人數(shù)據(jù)集市 銷售 外部 非結(jié)構(gòu)化數(shù)據(jù) 操作數(shù)據(jù)存儲(chǔ) 企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 內(nèi)容提要 ?動(dòng)機(jī)與需求 ?數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ?數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐 ?結(jié)束語(yǔ) 結(jié)束語(yǔ) ? 數(shù)據(jù)倉(cāng)庫(kù)是 CRM、 BI及其它決策支持系統(tǒng)的基礎(chǔ)； ? 建立完整的“寶鋼企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)”，構(gòu)筑完善的 OLAP應(yīng)用，開(kāi)展數(shù)據(jù)挖掘工作； ? 以數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為基礎(chǔ)考慮關(guān)鍵的業(yè)務(wù)應(yīng)用： 如質(zhì)量分析及控制，摸索質(zhì)量控制的規(guī)律，實(shí)現(xiàn)工藝參數(shù)的優(yōu)化； 標(biāo)準(zhǔn)成本的科學(xué)核定，按照投入產(chǎn)出原則，構(gòu)建成本中最主要的金屬料平衡模型； 財(cái)務(wù)分析，提高競(jìng)爭(zhēng)力； 生產(chǎn)過(guò)程的優(yōu)化組合 ? ? 實(shí)事求是，數(shù)據(jù)倉(cāng)庫(kù)并不是萬(wàn)能的，對(duì)不同需求應(yīng)科學(xué)分析，區(qū)分
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1