數(shù)據(jù)倉庫技術(shù)介紹(1)-wenkub
2023-01-29 02:16:34 本頁面
【正文】 務(wù)系統(tǒng)的建立 聯(lián)機(jī)事務(wù)系統(tǒng)的建立（續(xù)） ?當(dāng)時單位容量的聯(lián)機(jī)存儲介質(zhì)比現(xiàn)在昂貴得多，相對于市場競爭的壓力，將大量的歷史業(yè)務(wù)數(shù)據(jù)長時間聯(lián)機(jī)保存去用于分析顯然是過于奢侈了。 市場需求是技術(shù)發(fā)展的源動力 ?數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展 是數(shù)據(jù)庫和 OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物； ?目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù) 。 寶鋼追求的目標(biāo) ?寶鋼作為中國的特大型鋼鐵企業(yè)，它的主要建設(shè)目標(biāo)是在激烈的國際國內(nèi)市場競爭中立于不敗之地，并且要 加強(qiáng)管理、優(yōu)化資源，追求效益最大化 。數(shù)據(jù)倉庫技術(shù)介紹 了解 你的組織 了解你的客戶 了解你的供應(yīng)商 嵇 曉 內(nèi)容提要 ?動機(jī)與需求 ?數(shù)據(jù)倉庫技術(shù) ?數(shù)據(jù)倉庫在寶鋼的實(shí)踐 ?結(jié)束語 面臨的問題 人們在日常生活中經(jīng)常會遇到這樣的情況： ?超市的經(jīng)營者希望將經(jīng)常被同時購買的商品放在一起 ， 以增加銷售； ?保險(xiǎn)公司想知道購買保險(xiǎn)的客戶一般具有哪些特征； ?醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征 ， 從而為治愈這種疾病提供一些幫助； ?…… 企業(yè)面臨的問題 ?經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù) , 它是企業(yè)生產(chǎn)經(jīng)營活動的真實(shí)記錄 ?由于缺乏集中存儲和管理 ， 這些數(shù)據(jù)不能為本企業(yè)加以利用 , 不能進(jìn)行有效的統(tǒng)計(jì) 、 分析及評估 ， 無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息 數(shù)據(jù)爆炸問題 – 自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中 。這就要求使其生產(chǎn)和經(jīng)營過程共同達(dá)到優(yōu)化，例如，能夠快速準(zhǔn)確地提供報(bào)價(jià)、確定交貨期、以及確保產(chǎn)品質(zhì)量等，并且制定有正確的企業(yè)發(fā)展戰(zhàn)略，以適應(yīng)市場需求的變化，能做出及時反應(yīng)。 內(nèi)容提要 ?動機(jī)與需求 ?數(shù)據(jù)倉庫技術(shù) ?數(shù)據(jù)倉庫在寶鋼的實(shí)踐 ?結(jié)束語 在早期，業(yè)務(wù)人員考慮如何實(shí)現(xiàn)自動化 ….. 計(jì)算機(jī)發(fā)展史 在數(shù)據(jù)庫應(yīng)用的早期，計(jì)算機(jī)系統(tǒng)所處理的是從無到有 的問題，是傳統(tǒng)手工業(yè)務(wù)自動化的問題。因此，聯(lián)機(jī)事務(wù)處理系統(tǒng)只涉及當(dāng)前數(shù)據(jù)，系統(tǒng)積累下的歷史業(yè)務(wù)數(shù)據(jù)往往被轉(zhuǎn)儲到脫機(jī)的環(huán)境中。 決策的需要 決策需要對大量的業(yè)務(wù)數(shù)據(jù)包括歷史業(yè)務(wù)數(shù)據(jù)進(jìn)行分析才能得到，而這種基于業(yè)務(wù)數(shù)據(jù)的決策分析，我們把它稱之為聯(lián)機(jī)分析處理。 獲得有用的信息并非想象的那么容易 (3) 針對這一問題，人們專門為業(yè)務(wù)的統(tǒng)計(jì)分析建立一個數(shù)據(jù)中心，它的數(shù)據(jù)可以從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到；它是一個聯(lián)機(jī)的系統(tǒng)，專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù)，通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。 今天的數(shù)據(jù)庫就好比當(dāng)年的層次數(shù)據(jù)庫和網(wǎng)型數(shù)據(jù)庫 ， 它們面向事務(wù)處理；今天的數(shù)據(jù)倉庫就好比是當(dāng)年的關(guān)系數(shù)據(jù)庫 ， 它針對聯(lián)機(jī)分析 。 數(shù)據(jù)抽取在技術(shù)上主要涉及互連 、 復(fù)制 、 增量 、轉(zhuǎn)換 、 調(diào)度和監(jiān)控等方面 。 ?要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心 ， 則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析 。 如何避免臟數(shù)據(jù)進(jìn)入 如果數(shù)據(jù)質(zhì)量不能被信任，則數(shù)據(jù)倉庫將失去價(jià)值，數(shù)據(jù)管理是一個循環(huán)往復(fù)的過程，包括四個基本功能： 定義 量度標(biāo)準(zhǔn) 報(bào)告 改善 量度標(biāo)準(zhǔn) 報(bào)告 定義 改善 連續(xù)的改善 循環(huán) 數(shù)據(jù)質(zhì)量管理 ODS 用于集成相關(guān)應(yīng)用系統(tǒng)并且為決策支持 系統(tǒng)提供數(shù)據(jù)基礎(chǔ) SAP Oracle Financials PeopleSoft Baan home grown 商業(yè)系統(tǒng) 客戶開發(fā)系統(tǒng) ODS “ 遺產(chǎn)”系統(tǒng) DSS 探索數(shù)據(jù)倉庫 操作數(shù)據(jù)存儲（ ODS） 近線存儲器 活動監(jiān)控器 交叉介質(zhì) 數(shù)據(jù)管理器 擴(kuò)展數(shù)據(jù)到近線存儲器，可以極大地降低數(shù)據(jù)倉庫 環(huán)境的成本，并且可以將存儲能力擴(kuò)展到無限大 近線存儲器 借助探索倉庫 可以極大的降低探索的成本 極大地提高探索速度 探索的能力呈指數(shù)級增長 探索倉庫 非常特別的查詢 token based technology relational 探索倉庫 什么是企業(yè)數(shù)據(jù)倉庫 ? 企業(yè)數(shù)據(jù)倉庫是一個環(huán)境 , 通過有效的信息來滿足和 促進(jìn)企業(yè)的決策制定過程 。 質(zhì)量改善， SPC。 改善客戶關(guān)系管理，讓客戶能獲得更多的好處。 用戶所需要的是什么 ? 寶鋼計(jì)算機(jī)系統(tǒng) 鐵水系統(tǒng) 一、二期工程 鋼區(qū) 寶鋼 TCP/IP光纖主干網(wǎng)絡(luò) （一、二期工程地域： DEC TDM） （ 三期工程地域： IBM ATM） IBM RS6000 7013J30 x3臺 512MB UNISYS U6000/65 x2臺 512MB 檢化驗(yàn) DEC Alpha 21004/275 512MB 250轉(zhuǎn)爐煉鋼 DEC Alpha 21004/275 x2臺 384MB 1420冷軋 DEC Alpha 21004/275 x2臺 192MB 1580熱軋 DEC VAX 4600A x4臺 128MB 電爐 /圓坯連鑄 DEC Alpha 21004/200 x2臺 384MB 2030冷軋 DEC VAX 4600 x2臺 256MB 2050熱軋 DEC Alpha 4100 x2臺 1 GB 高速線材 DEC Alpha 41005/300 x2臺 512MB 1550冷軋前庫 PC Server SCO UNIX 300噸轉(zhuǎn)爐煉鋼 IBM RS6000 /J50 x2臺 1 GB 鋼管分公司 HP 9000 K370 x2臺 512MB 寶鋼整體產(chǎn)銷 管理系統(tǒng) IBM 9672R25主機(jī) 通信前置機(jī) IBM RS6000/SP IBM SP主機(jī) 數(shù)據(jù)倉庫服務(wù)器 操作系統(tǒng) : OS/390 數(shù)據(jù)庫 : IBM DB2 角色 : 數(shù)據(jù)倉庫 的重要數(shù)據(jù)來源 IBM 9672（ 公司產(chǎn)銷系統(tǒng)） 操作系統(tǒng) : IBM AIX 數(shù)據(jù)庫 : SAS Data Set 角色 : 數(shù)據(jù)倉庫 、 數(shù)據(jù)分析處理、報(bào)表系統(tǒng)發(fā)布（ Domino Web Server） 的核心平臺 IBM SP (數(shù)據(jù)倉庫服務(wù)器） ?企業(yè)級數(shù)據(jù)倉庫 (按主題 ) – 質(zhì)量 (試點(diǎn)，完成 ) – 生產(chǎn)與物流 – 市場與銷售 – 成本與財(cái)務(wù) – 設(shè)備 – 能源 ?部門級數(shù)據(jù)倉庫 – 冷軋 – 熱軋 – …... 數(shù)據(jù)倉庫建設(shè) 數(shù)據(jù)倉庫應(yīng)用 ?企業(yè)數(shù)據(jù)倉庫 – 按主題 (實(shí)施過程中 ) ?信息門戶 (Intra 應(yīng)用） – 生產(chǎn)管理信息 – 技術(shù)質(zhì)量信息 – 企業(yè)統(tǒng)計(jì)信息 – 生產(chǎn)區(qū)域信息 (冷軋 , 熱軋 ,…) – 生產(chǎn)管制信息 – ... 質(zhì)量數(shù)據(jù)倉庫數(shù)據(jù)環(huán)境 ?來源于 9672上的 DB2 ?下載后的數(shù)據(jù)成為 ODD(Operational Data Definition) ?形成 22個主題數(shù)據(jù)表 ?采用星狀的數(shù)據(jù)模型 ?支持不同種類的應(yīng)用 質(zhì)量數(shù)據(jù)倉庫主題一覽 Color 電爐和初軋 線材 電鍍錫 電鍍鋅 普板 熱鍍鋅 彩涂 電工鋼 小方坯
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號-1