數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹(2)(存儲(chǔ)版)
【正文】 ； 獲得有用的信息并非想象的那么容易 (2) 第三，業(yè)務(wù)數(shù)據(jù)的模式是針對(duì)事務(wù)處理系統(tǒng)而設(shè)計(jì)的，數(shù)據(jù)的格式和描述方式并不適合非計(jì)算機(jī)專(zhuān)業(yè)人員進(jìn)行業(yè)務(wù)上的分析和統(tǒng)計(jì)。 由于數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境 ， 它需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng) 、 外部數(shù)據(jù)源、 脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù) 。 數(shù)據(jù)集市 ODS 近線存儲(chǔ)器 探索 倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)的組成 ETL 自動(dòng)處理數(shù)據(jù) 集成和轉(zhuǎn)換 1 2 3 4 通過(guò)不干凈的遺留系統(tǒng)； 不合適的集成； 數(shù)據(jù)倉(cāng)庫(kù)的過(guò)期； 用戶需求的改變。 開(kāi)拓了進(jìn)一步探索和研究的廣闊空間 – 數(shù)據(jù)倉(cāng)庫(kù)支持進(jìn)一步的探究，以發(fā)現(xiàn)數(shù)據(jù)所形成的趨勢(shì)、構(gòu)成的模式及其間的關(guān)系，這可引導(dǎo)用戶改進(jìn)現(xiàn)行的業(yè)務(wù)處理過(guò)程或作出正確的決策 。 構(gòu)造優(yōu)化的企業(yè)信息環(huán)境 4 質(zhì)量 生產(chǎn) 銷(xiāo)售 能源 設(shè)備 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)數(shù)據(jù)集市 財(cái)務(wù) 業(yè)務(wù) 技術(shù)元數(shù)據(jù) 操作環(huán)境 數(shù)據(jù)倉(cāng)庫(kù)環(huán)境 市場(chǎng) 個(gè)人數(shù)據(jù)集市 銷(xiāo)售 外部 非結(jié)構(gòu)化數(shù)據(jù) 操作數(shù)據(jù)存儲(chǔ) 企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 內(nèi)容提要 ?動(dòng)機(jī)與需求 ?數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ?數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐 ?結(jié)束語(yǔ) 結(jié)束語(yǔ) ? 數(shù)據(jù)倉(cāng)庫(kù)是 CRM、 BI及其它決策支持系統(tǒng)的基礎(chǔ)； ? 建立完整的“寶鋼企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)”，構(gòu)筑完善的 OLAP應(yīng)用，開(kāi)展數(shù)據(jù)挖掘工作； ? 以數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為基礎(chǔ)考慮關(guān)鍵的業(yè)務(wù)應(yīng)用： 如質(zhì)量分析及控制，摸索質(zhì)量控制的規(guī)律，實(shí)現(xiàn)工藝參數(shù)的優(yōu)化； 標(biāo)準(zhǔn)成本的科學(xué)核定，按照投入產(chǎn)出原則，構(gòu)建成本中最主要的金屬料平衡模型； 財(cái)務(wù)分析，提高競(jìng)爭(zhēng)力； 生產(chǎn)過(guò)程的優(yōu)化組合 ? ? 實(shí)事求是，數(shù)據(jù)倉(cāng)庫(kù)并不是萬(wàn)能的，對(duì)不同需求應(yīng)科學(xué)分析，區(qū)分對(duì)待。 ? IT人員 希望能為企業(yè)中的任何人、在任何地方提供對(duì)數(shù)據(jù)的訪問(wèn)，或向他們進(jìn)行發(fā)布，同時(shí)減少他們自己堆集如山的報(bào)表和管理的麻煩。 SAS快速數(shù)據(jù)倉(cāng)庫(kù)方法 快速數(shù)據(jù)倉(cāng)庫(kù)方法的重點(diǎn) ?必須得到企業(yè)高層領(lǐng)導(dǎo)的支持和幫助； ?不依賴(lài)于技術(shù)，而是一個(gè)業(yè)務(wù)過(guò)程； ?以業(yè)務(wù)為中心，并且由業(yè)務(wù)驅(qū)動(dòng)，業(yè)務(wù)用戶全程參與； ?按照約定好的規(guī)則實(shí)施； ?以迭代式方法實(shí)現(xiàn)，全局考慮，局部實(shí)施 (Think big, Start small)； 快速數(shù)據(jù)倉(cāng)庫(kù)方法的重點(diǎn)（續(xù)） ?采用快速應(yīng)用開(kāi)發(fā)方法 (RAD)； ?允許柔性和動(dòng)態(tài)收集需求； ?首先尋求第一個(gè)快速成功的數(shù)據(jù)集市； ?借助優(yōu)良的項(xiàng)目管理方法幫助； ? 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的前景和目標(biāo) ? 數(shù)據(jù)倉(cāng)庫(kù)成功的因素 (如果可能算出 ROI) ? 業(yè)務(wù)過(guò)程和業(yè)務(wù)驅(qū)動(dòng) ? IT 的基礎(chǔ)架構(gòu) (當(dāng)前和未來(lái) ) ? 用戶需求分析（數(shù)據(jù)需求、信息需求、報(bào)表和分析需求、探索需求以及信息供給需求） 企業(yè)關(guān)鍵的評(píng)估項(xiàng)目 ? 數(shù)據(jù)倉(cāng)庫(kù)規(guī)模和增長(zhǎng)性 ? 宏觀的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的物理和邏輯模型 ? 主題區(qū)域和實(shí)施優(yōu)先級(jí) ? 具體實(shí)施方案 ? 任務(wù)和責(zé)任 ? 首先實(shí)施的主題以及它的項(xiàng)目計(jì)劃 企業(yè)關(guān)鍵的評(píng)估項(xiàng)目（續(xù)） 設(shè)計(jì)階段 : 維數(shù)據(jù)模型 ?維 數(shù)據(jù)模型（邏輯） – 提供更詳細(xì)的數(shù)據(jù)視圖（邏輯） – 包括一個(gè)實(shí)體列表 ?多維 ?事實(shí) / 測(cè)量值 – 描述實(shí)體之間的關(guān)系 – 提供每一個(gè)實(shí)體的屬性列表 – 包括 維 數(shù)據(jù)模型的圖形表示 – 業(yè)務(wù)用戶更容易理解 – 能夠很好地匹配目標(biāo)模型 ?物理倉(cāng)庫(kù)數(shù)據(jù)模型可以利用 – 范式模型 – 匯總表 – 預(yù)先合并的視圖和表 – 星型模式 – 雪花模式 – 星型 雪花模式 – 多維數(shù)據(jù)模型 (MDDBs) – 非結(jié)構(gòu)化的數(shù)據(jù) /文檔 – 上述各種模型的混合使用 設(shè)計(jì)階段 : 物理模型 范式模型 MDDBs 星型模式 雪花模式 星型 雪花模式 匯總表 視圖 非結(jié)構(gòu)化數(shù)據(jù) ?企業(yè)數(shù)據(jù)倉(cāng)庫(kù) – 范式化的 ER模型 – 雪花及星型 雪花模式 – 匯總表 – 預(yù)先合并的視圖 ?部門(mén)數(shù)據(jù)倉(cāng)庫(kù) /數(shù)據(jù)集市 – 匯總表 – 預(yù)先合并的視圖和表 – 多維數(shù)據(jù)倉(cāng)庫(kù)（ MDDBs） – 星型模式 – 雪花及星型 雪花模式 設(shè)計(jì)階段 : 物理模型的適配性 不是設(shè)計(jì)用于直接用戶的查詢 設(shè)計(jì)用于特定的業(yè)務(wù)用戶查詢 為什么大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目會(huì)失??？ ?缺乏領(lǐng)導(dǎo)支持（沒(méi)有領(lǐng)導(dǎo)理解和支持） ?缺乏業(yè)務(wù)用戶自始至終的項(xiàng)目參與 ?業(yè)務(wù)單位之間缺乏協(xié)調(diào)和努力 ?初始范圍過(guò)于廣泛和詳細(xì) (投入過(guò)大 , 難于調(diào)整等 ) ?數(shù)據(jù)質(zhì)量較差 (遺留的和現(xiàn)時(shí)的系統(tǒng) ) ?缺乏有效合理的實(shí)施力量 (例如：缺乏項(xiàng)目管理手段、任務(wù)和責(zé)任不明確等等） 搭建面向主題的信息架構(gòu)； 綜合統(tǒng)計(jì)報(bào)表、信息查詢； 常規(guī)數(shù)據(jù)分析（成本、財(cái)務(wù)、市場(chǎng)、銷(xiāo)售、? ），聯(lián)機(jī)分析處理，多維信息查詢； 決策支持系統(tǒng)、專(zhuān)家系統(tǒng)、 ?。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù) ， 同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式 。 數(shù)據(jù)倉(cāng)庫(kù)的通俗定義 以辯證的眼光來(lái)看 ， 數(shù)據(jù)倉(cāng)庫(kù)的興起實(shí)際上是數(shù)據(jù)管理的一種回歸 ， 是螺旋式的上升 。 在數(shù)據(jù)倉(cāng)庫(kù)以前大都是事物處理 系統(tǒng) (OLTP)的天下（ 1965 1990） 這個(gè)現(xiàn)狀持續(xù)了 25 年，它主要實(shí)現(xiàn) 數(shù)據(jù)的收集 數(shù)據(jù)的存儲(chǔ) 數(shù)據(jù)的在線存取 聯(lián)機(jī)事務(wù)系統(tǒng)的功能 但是在 OLTP系統(tǒng)中存在著若干問(wèn)題 數(shù)據(jù)不是綜合的 沒(méi)有歷史數(shù)據(jù) 沒(méi)有匯總數(shù)據(jù) 聯(lián)機(jī)事務(wù)系統(tǒng)的問(wèn)題 puter puter puter Q1 Q2 Q3 Q1 Q2 Q3 Q4 管理者想要了解公司的情況 … 數(shù)據(jù)集成問(wèn)題 有多少品種 ? puter 缺乏數(shù)據(jù)集成不是一個(gè)唯一 的問(wèn)題 歷史數(shù)據(jù)的缺乏是另一個(gè) 應(yīng)用問(wèn)題 在過(guò)去的三年中，我的帳戶每月平均余額 是多少 ? 我怎樣才能知道這些數(shù)字 ? 我的帳戶現(xiàn)在有多少錢(qián) ? 你有 2, 歷史數(shù)據(jù)問(wèn)題 puter 另一個(gè)問(wèn)題是匯總 …. 發(fā)往 A公司的貨物在哪里 ? 在出廠中心，將于下周一運(yùn)到 我們上個(gè)月、去年有多少貨物發(fā)往 A公司 ? 有多少貨物準(zhǔn)時(shí)到達(dá) ? 晚到 ? 發(fā)生貨損 ? 我要寫(xiě)個(gè)匯總報(bào)告 . 匯總問(wèn)題 puter 貫穿公司的數(shù)據(jù)集成 ? 公司的歷史數(shù)據(jù) ? 詳細(xì)數(shù)據(jù)及匯總數(shù)據(jù) ? 獲取信息的重要因素 應(yīng)用在不斷地進(jìn)步，當(dāng)聯(lián)機(jī)事務(wù)處理系統(tǒng)應(yīng)用到一定階段的時(shí)候，企業(yè)家們便發(fā)現(xiàn)單靠擁有聯(lián)機(jī)事務(wù)處理系統(tǒng)已經(jīng)不足以獲得市場(chǎng)競(jìng)爭(zhēng)的優(yōu)勢(shì)；他們需要對(duì)其自身業(yè)務(wù)的運(yùn)作以及整個(gè)市場(chǎng)相關(guān)行業(yè)的態(tài)勢(shì)進(jìn)行分析，從而做出有利的決策。 市場(chǎng)需求是技術(shù)發(fā)展的源動(dòng)力 ?數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn)和發(fā)展 是數(shù)據(jù)庫(kù)和 OLTP技術(shù)發(fā)展、數(shù)據(jù)庫(kù)應(yīng)用深化的產(chǎn)物； ?目的是把數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù) 。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹 了解 你的組織 了解你的客戶 了解你的供應(yīng)商 嵇 曉 內(nèi)容提要 ?動(dòng)機(jī)與需求 ?數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ?數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐 ?結(jié)束語(yǔ) 面臨的問(wèn)題 人們?cè)谌粘Ｉ钪薪?jīng)常會(huì)遇到這樣的情況： ?超市的經(jīng)營(yíng)者希望將經(jīng)常被同時(shí)購(gòu)買(mǎi)的商品放在一起 ， 以增加銷(xiāo)售； ?保險(xiǎn)公司想知道購(gòu)買(mǎi)保險(xiǎn)的客戶一般具有哪些特征； ?醫(yī)學(xué)研究人員希望從已有的成千上萬(wàn)份病歷中找出
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1