【正文】 數(shù)據(jù)倉庫技術(shù)介紹 了解 你的組織 了解你的客戶 了解你的供應(yīng)商 嵇 曉 內(nèi)容提要 ?動機(jī)與需求 ?數(shù)據(jù)倉庫技術(shù) ?數(shù)據(jù)倉庫在寶鋼的實(shí)踐 ?結(jié)束語 面臨的問題 人們在日常生活中經(jīng)常會遇到這樣的情況： ?超市的經(jīng)營者希望將經(jīng)常被同時(shí)購買的商品放在一起 ， 以增加銷售； ?保險(xiǎn)公司想知道購買保險(xiǎn)的客戶一般具有哪些特征； ?醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征 ， 從而為治愈這種疾病提供一些幫助； ?…… 企業(yè)面臨的問題 ?經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù) , 它是企業(yè)生產(chǎn)經(jīng)營活動的真實(shí)記錄 ?由于缺乏集中存儲和管理 ， 這些數(shù)據(jù)不能為本企業(yè)加以利用 , 不能進(jìn)行有效的統(tǒng)計(jì) 、 分析及評估 ， 無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息 數(shù)據(jù)爆炸問題 – 自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中 。 – 我們會淹死在數(shù)據(jù)中 , 但卻為信息、知識所餓 ! 面臨的挑戰(zhàn) ?如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？ ?如何使您的企業(yè)或組織在激烈的市場競爭中保持對客戶的吸引力？ ?如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運(yùn)作過程中不易察覺的商業(yè)風(fēng)險(xiǎn)？ 寶鋼整體產(chǎn)銷信息管理系統(tǒng) L4 L2 過程控制計(jì)算機(jī)系統(tǒng) L3 （分廠級） 生產(chǎn)控制計(jì)算機(jī)系統(tǒng) 寶鋼計(jì)算機(jī)系統(tǒng)的架構(gòu) L1 基礎(chǔ)自動化 基礎(chǔ)自動化 寶鋼的現(xiàn)狀及需求 ?寶鋼擁有許多傳統(tǒng)的 OLTP（ 聯(lián)機(jī)事務(wù)處理 ） 系統(tǒng) ，擔(dān)負(fù)著許多重要的日常事物處理工作 ， 在寶鋼的生產(chǎn)經(jīng)營活動中扮演著重要角色 。 ?經(jīng)過多年的計(jì)算機(jī)應(yīng)用 ， 寶鋼積累了大量豐富翔實(shí)的原始生產(chǎn)實(shí)績數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù) ， 它反映了企業(yè)生產(chǎn)經(jīng)營過程中規(guī)律性的信息和知識 ， 由于缺乏集中存儲和管理 ， 對如何充分有效地利用這些數(shù)據(jù)， 卻一直沒有很好的解決方法 ， 不能利用它們進(jìn)行有效的統(tǒng)計(jì) 、 分析及評估 ， 無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)真正有用的信息 。 寶鋼追求的目標(biāo) ?寶鋼作為中國的特大型鋼鐵企業(yè)，它的主要建設(shè)目標(biāo)是在激烈的國際國內(nèi)市場競爭中立于不敗之地，并且要 加強(qiáng)管理、優(yōu)化資源，追求效益最大化 。這就要求使其生產(chǎn)和經(jīng)營過程共同達(dá)到優(yōu)化，例如，能夠快速準(zhǔn)確地提供報(bào)價(jià)、確定交貨期、以及確保產(chǎn)品質(zhì)量等，并且制定有正確的企業(yè)發(fā)展戰(zhàn)略，以適應(yīng)市場需求的變化，能做出及時(shí)反應(yīng)。 寶鋼股份的質(zhì)量方針 “ 重用戶、重改進(jìn)、重效率、重價(jià)值，為社會提供世界一流的產(chǎn)品和服務(wù)?！? 寶鋼股份質(zhì)量方針 ?隨著市場競爭的加劇和用戶要求的提高，從大量數(shù)據(jù)中挖掘規(guī)律性知識，制定正確的生產(chǎn)策略和市場策略，顯得越來越重要。 市場需求是技術(shù)發(fā)展的源動力 ?數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展 是數(shù)據(jù)庫和 OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物； ?目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù) 。 內(nèi)容提要 ?動機(jī)與需求 ?數(shù)據(jù)倉庫技術(shù) ?數(shù)據(jù)倉庫在寶鋼的實(shí)踐 ?結(jié)束語 在早期，業(yè)務(wù)人員考慮如何實(shí)現(xiàn)自動化 ….. 計(jì)算機(jī)發(fā)展史 在數(shù)據(jù)庫應(yīng)用的早期，計(jì)算機(jī)系統(tǒng)所處理的是從無到有 的問題，是傳統(tǒng)手工業(yè)務(wù)自動化的問題。例如銀行的儲蓄系統(tǒng)、 電信的計(jì)費(fèi)系統(tǒng)，它們都屬于典型的聯(lián)機(jī)事務(wù)處理系統(tǒng)。 puter 手工業(yè)務(wù)自動化 puter puter 很快就建立了許多應(yīng)用系統(tǒng)， 在當(dāng)時(shí)，一個企業(yè)可以簡單地通過擁有聯(lián)機(jī)事務(wù)處理的計(jì)算機(jī)系統(tǒng)而獲得強(qiáng)大的市場競爭力。 聯(lián)機(jī)事務(wù)系統(tǒng)的建立 聯(lián)機(jī)事務(wù)系統(tǒng)的建立（續(xù)） ?當(dāng)時(shí)單位容量的聯(lián)機(jī)存儲介質(zhì)比現(xiàn)在昂貴得多，相對于市場競爭的壓力，將大量的歷史業(yè)務(wù)數(shù)據(jù)長時(shí)間聯(lián)機(jī)保存去用于分析顯然是過于奢侈了。因此，聯(lián)機(jī)事務(wù)處理系統(tǒng)只涉及當(dāng)前數(shù)據(jù)，系統(tǒng)積累下的歷史業(yè)務(wù)數(shù)據(jù)往往被轉(zhuǎn)儲到脫機(jī)的環(huán)境中。 ?在計(jì)算機(jī)系統(tǒng)應(yīng)用的早期，還沒有積累大量的歷史數(shù)據(jù)可供統(tǒng)計(jì)與分析。從而，聯(lián)機(jī)事務(wù)處理成為整個 80年代直到 90年代初數(shù)據(jù)庫應(yīng)用的主流。 在數(shù)據(jù)倉庫以前大都是事物處理 系統(tǒng) (OLTP)的天下（ 1965 1990） 這個現(xiàn)狀持續(xù)了 25 年，它主要實(shí)現(xiàn) 數(shù)據(jù)的收集 數(shù)據(jù)的存儲 數(shù)據(jù)的在線存取 聯(lián)機(jī)事務(wù)系統(tǒng)的功能 但是在 OLTP系統(tǒng)中存在著若干問題 數(shù)據(jù)不是綜合的 沒有歷史數(shù)據(jù) 沒有匯總數(shù)據(jù) 聯(lián)機(jī)事務(wù)系統(tǒng)的問題 puter puter puter Q1 Q2 Q3 Q1 Q2 Q3 Q4 管理者想要了解公司的情況 … 數(shù)據(jù)集成問題 有多少品種 ? puter 缺乏數(shù)據(jù)集成不是一個唯一 的問題 歷史數(shù)據(jù)的缺乏是另一個 應(yīng)用問題 在過去的三年中，我的帳戶每月平均余額 是多少 ? 我怎樣才能知道這些數(shù)字 ? 我的帳戶現(xiàn)在有多少錢 ? 你有 2, 歷史數(shù)據(jù)問題 puter 另一個問題是匯總 …. 發(fā)往 A公司的貨物在哪里 ? 在出廠中心，將于下周一運(yùn)到 我們上個月、去年有多少貨物發(fā)往 A公司 ? 有多少貨物準(zhǔn)時(shí)到達(dá) ? 晚到 ? 發(fā)生貨損 ? 我要寫個匯總報(bào)告 . 匯總問題 puter 貫穿公司的數(shù)據(jù)集成 ? 公司的歷史數(shù)據(jù) ? 詳細(xì)數(shù)據(jù)及匯總數(shù)據(jù) ? 獲取信息的重要因素 應(yīng)用在不斷地進(jìn)步，當(dāng)聯(lián)機(jī)事務(wù)處理系統(tǒng)應(yīng)用到一定階段的時(shí)候，企業(yè)家們便發(fā)現(xiàn)單靠擁有聯(lián)機(jī)事務(wù)處理系統(tǒng)已經(jīng)不足以獲得市場競爭的優(yōu)勢；他們需要對其自身業(yè)務(wù)的運(yùn)作以及整個市場相關(guān)行業(yè)的態(tài)勢進(jìn)行分析，從而做出有利的決策。 決策的需要 決策需要對大量的業(yè)務(wù)數(shù)據(jù)包括歷史業(yè)務(wù)數(shù)據(jù)進(jìn)行分析才能得到，而這種基于業(yè)務(wù)數(shù)據(jù)的決策分析，我們把它稱之為聯(lián)機(jī)分析處理。如果說傳統(tǒng)聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是更新數(shù)據(jù)庫——向數(shù)據(jù)庫中添加信息，那么聯(lián)機(jī)分析處理就是要從數(shù)據(jù)庫中獲取信息、利用信息。 聯(lián)機(jī)分析處理 “我們花了 20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時(shí)候了。” 著名的數(shù)據(jù)倉庫專家 Ralph Kimball 市場需求是技術(shù)發(fā)展的源動力 早期應(yīng)用系統(tǒng) PC 電子表格 歸檔文件 OLTP系統(tǒng) 數(shù)據(jù)倉庫 獲得信息 如何獲得信息 第一，所有聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是數(shù)據(jù)更新處理性能和系統(tǒng)的可靠性，并不關(guān)心信息查詢的方便與快捷；聯(lián)機(jī)分析和事務(wù)處理對系統(tǒng)的要求不同，同一個數(shù)據(jù)庫在理論上難以做到兩全； 獲得有用的信息并非想象的那么容易 (1) 第二，業(yè)務(wù)數(shù)據(jù)往往被存放于分散的異構(gòu)環(huán)境中，不易統(tǒng)一查詢訪問，而且還有大量的歷史數(shù)據(jù)處于脫機(jī)狀態(tài)，形同虛設(shè)； 獲得有用的信息并非想象的那么容易 (2) 第三，業(yè)務(wù)數(shù)據(jù)的模式是針對事務(wù)處理系統(tǒng)而設(shè)計(jì)的，數(shù)據(jù)的格式和描述方式并不適合非計(jì)算機(jī)專業(yè)人員進(jìn)行業(yè)務(wù)上的分析和統(tǒng)計(jì)。 獲得有用的信息并非想象的那么容易 (3) 針對這一問題，人們專門為業(yè)務(wù)的統(tǒng)計(jì)分析建立一個數(shù)據(jù)中心，它的數(shù)據(jù)可以從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到；它是一個聯(lián)機(jī)的系統(tǒng)，專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù)，通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。這個數(shù)據(jù)中心就叫作數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫的通俗解釋 數(shù)據(jù)倉庫是一個作為決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。 數(shù)據(jù)倉庫的通俗定義 以辯證的眼光來看 ， 數(shù)據(jù)倉庫的興起實(shí)際