數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹(2)-wenkub
2023-01-29 01:47:15 本頁(yè)面
【正文】 務(wù)系統(tǒng)的建立 聯(lián)機(jī)事務(wù)系統(tǒng)的建立（續(xù)） ?當(dāng)時(shí)單位容量的聯(lián)機(jī)存儲(chǔ)介質(zhì)比現(xiàn)在昂貴得多，相對(duì)于市場(chǎng)競(jìng)爭(zhēng)的壓力，將大量的歷史業(yè)務(wù)數(shù)據(jù)長(zhǎng)時(shí)間聯(lián)機(jī)保存去用于分析顯然是過于奢侈了。 市場(chǎng)需求是技術(shù)發(fā)展的源動(dòng)力 ?數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn)和發(fā)展 是數(shù)據(jù)庫(kù)和 OLTP技術(shù)發(fā)展、數(shù)據(jù)庫(kù)應(yīng)用深化的產(chǎn)物； ?目的是把數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù) 。 寶鋼追求的目標(biāo) ?寶鋼作為中國(guó)的特大型鋼鐵企業(yè)，它的主要建設(shè)目標(biāo)是在激烈的國(guó)際國(guó)內(nèi)市場(chǎng)競(jìng)爭(zhēng)中立于不敗之地，并且要 加強(qiáng)管理、優(yōu)化資源，追求效益最大化 。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹 了解 你的組織 了解你的客戶 了解你的供應(yīng)商 嵇 曉 內(nèi)容提要 ?動(dòng)機(jī)與需求 ?數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ?數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐 ?結(jié)束語(yǔ) 面臨的問題 人們?cè)谌粘Ｉ钪薪?jīng)常會(huì)遇到這樣的情況： ?超市的經(jīng)營(yíng)者希望將經(jīng)常被同時(shí)購(gòu)買的商品放在一起 ， 以增加銷售； ?保險(xiǎn)公司想知道購(gòu)買保險(xiǎn)的客戶一般具有哪些特征； ?醫(yī)學(xué)研究人員希望從已有的成千上萬(wàn)份病歷中找出患某種疾病的病人的共同特征 ， 從而為治愈這種疾病提供一些幫助； ?…… 企業(yè)面臨的問題 ?經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場(chǎng)積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù) , 它是企業(yè)生產(chǎn)經(jīng)營(yíng)活動(dòng)的真實(shí)記錄 ?由于缺乏集中存儲(chǔ)和管理 ， 這些數(shù)據(jù)不能為本企業(yè)加以利用 , 不能進(jìn)行有效的統(tǒng)計(jì) 、 分析及評(píng)估 ， 無(wú)法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息 數(shù)據(jù)爆炸問題 – 自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫(kù)技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫(kù)和其它的信息庫(kù)中 。這就要求使其生產(chǎn)和經(jīng)營(yíng)過程共同達(dá)到優(yōu)化，例如，能夠快速準(zhǔn)確地提供報(bào)價(jià)、確定交貨期、以及確保產(chǎn)品質(zhì)量等，并且制定有正確的企業(yè)發(fā)展戰(zhàn)略，以適應(yīng)市場(chǎng)需求的變化，能做出及時(shí)反應(yīng)。 內(nèi)容提要 ?動(dòng)機(jī)與需求 ?數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ?數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐 ?結(jié)束語(yǔ) 在早期，業(yè)務(wù)人員考慮如何實(shí)現(xiàn)自動(dòng)化 ….. 計(jì)算機(jī)發(fā)展史 在數(shù)據(jù)庫(kù)應(yīng)用的早期，計(jì)算機(jī)系統(tǒng)所處理的是從無(wú)到有 的問題，是傳統(tǒng)手工業(yè)務(wù)自動(dòng)化的問題。因此，聯(lián)機(jī)事務(wù)處理系統(tǒng)只涉及當(dāng)前數(shù)據(jù)，系統(tǒng)積累下的歷史業(yè)務(wù)數(shù)據(jù)往往被轉(zhuǎn)儲(chǔ)到脫機(jī)的環(huán)境中。 決策的需要 決策需要對(duì)大量的業(yè)務(wù)數(shù)據(jù)包括歷史業(yè)務(wù)數(shù)據(jù)進(jìn)行分析才能得到，而這種基于業(yè)務(wù)數(shù)據(jù)的決策分析，我們把它稱之為聯(lián)機(jī)分析處理。 獲得有用的信息并非想象的那么容易 (3) 針對(duì)這一問題，人們專門為業(yè)務(wù)的統(tǒng)計(jì)分析建立一個(gè)數(shù)據(jù)中心，它的數(shù)據(jù)可以從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到；它是一個(gè)聯(lián)機(jī)的系統(tǒng)，專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù)，通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。 今天的數(shù)據(jù)庫(kù)就好比當(dāng)年的層次數(shù)據(jù)庫(kù)和網(wǎng)型數(shù)據(jù)庫(kù) ， 它們面向事務(wù)處理；今天的數(shù)據(jù)倉(cāng)庫(kù)就好比是當(dāng)年的關(guān)系數(shù)據(jù)庫(kù) ， 它針對(duì)聯(lián)機(jī)分析 。 數(shù)據(jù)抽取在技術(shù)上主要涉及互連 、 復(fù)制 、 增量 、轉(zhuǎn)換 、 調(diào)度和監(jiān)控等方面 。 ?要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉(cāng)庫(kù)的核心 ， 則需要從數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)特點(diǎn)著手分析 。 如何避免臟數(shù)據(jù)進(jìn)入 如果數(shù)據(jù)質(zhì)量不能被信任，則數(shù)據(jù)倉(cāng)庫(kù)將失去價(jià)值，數(shù)據(jù)管理是一個(gè)循環(huán)往復(fù)的過程，包括四個(gè)基本功能： 定義 量度標(biāo)準(zhǔn) 報(bào)告 改善 量度標(biāo)準(zhǔn) 報(bào)告 定義 改善 連續(xù)的改善 循環(huán) 數(shù)據(jù)質(zhì)量管理 ODS 用于集成相關(guān)應(yīng)用系統(tǒng)并且為決策支持 系統(tǒng)提供數(shù)據(jù)基礎(chǔ) SAP Oracle Financials PeopleSoft Baan home grown 商業(yè)系統(tǒng) 客戶開發(fā)系統(tǒng) ODS “ 遺產(chǎn)”系統(tǒng) DSS 探索數(shù)據(jù)倉(cāng)庫(kù) 操作數(shù)據(jù)存儲(chǔ)（ ODS） 近線存儲(chǔ)器 活動(dòng)監(jiān)控器 交叉介質(zhì) 數(shù)據(jù)管理器 擴(kuò)展數(shù)據(jù)到近線存儲(chǔ)器，可以極大地降低數(shù)據(jù)倉(cāng)庫(kù) 環(huán)境的成本，并且可以將存儲(chǔ)能力擴(kuò)展到無(wú)限大 近線存儲(chǔ)器 借助探索倉(cāng)庫(kù) 可以極大的降低探索的成本 極大地提高探索速度 探索的能力呈指數(shù)級(jí)增長(zhǎng) 探索倉(cāng)庫(kù) 非常特別的查詢 token based technology relational 探索倉(cāng)庫(kù) 什么是企業(yè)數(shù)據(jù)倉(cāng)庫(kù) ? 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)環(huán)境 , 通過有效的信息來滿足和 促進(jìn)企業(yè)的決策制定過程 。 質(zhì)量改善， SPC。 改善客戶關(guān)系管理，讓客戶能獲得更多的好處。 用戶所需要的是什么 ? 寶鋼計(jì)算機(jī)系統(tǒng) 鐵水系統(tǒng) 一、二期工程 鋼區(qū) 寶鋼 TCP/IP光纖主干網(wǎng)絡(luò) （一、二期工程地域： DEC TDM） （ 三期工程地域： IBM ATM） IBM RS6000 7013J30 x3臺(tái) 512MB UNISYS U6000/65 x2臺(tái) 512MB 檢化驗(yàn) DEC Alpha 21004/275 512MB 250轉(zhuǎn)爐煉鋼 DEC Alpha 21004/275 x2臺(tái) 384MB 1420冷軋 DEC Alpha 21004/275 x2臺(tái) 192MB 1580熱軋 DEC VAX 4600A x4臺(tái) 128MB 電爐 /圓坯連鑄 DEC Alpha 21004/200 x2臺(tái) 384MB 2030冷軋 DEC VAX 4600 x2臺(tái) 256MB 2050熱軋 DEC Alpha 4100 x2臺(tái) 1 GB 高速線材 DEC Alpha 41005/300 x2臺(tái) 512MB 1550冷軋前庫(kù) PC Server SCO UNIX 300噸轉(zhuǎn)爐煉鋼 IBM RS6000 /J50 x2臺(tái) 1 GB 鋼管分公司 HP 9000 K370 x2臺(tái) 512MB 寶鋼整體產(chǎn)銷 管理系統(tǒng) IBM 9672R25主機(jī) 通信前置機(jī) IBM RS6000/SP IBM SP主機(jī) 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器 操作系統(tǒng) : OS/390 數(shù)據(jù)庫(kù) : IBM DB2 角色 : 數(shù)據(jù)倉(cāng)庫(kù) 的重要數(shù)據(jù)來源 IBM 9672（ 公司產(chǎn)銷系統(tǒng)） 操作系統(tǒng) : IBM AIX 數(shù)據(jù)庫(kù) : SAS Data Set 角色 : 數(shù)據(jù)倉(cāng)庫(kù) 、 數(shù)據(jù)分析處理、報(bào)表系統(tǒng)發(fā)布（ Domino Web Server） 的核心平臺(tái) IBM SP (數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器） ?企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) (按主題 ) – 質(zhì)量 (試點(diǎn)，完成 ) – 生產(chǎn)與物流 – 市場(chǎng)與銷售 – 成本與財(cái)務(wù) – 設(shè)備 – 能源 ?部門級(jí)數(shù)據(jù)倉(cāng)庫(kù) – 冷軋 – 熱軋 – …... 數(shù)據(jù)倉(cāng)庫(kù)建設(shè) 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 ?企業(yè)數(shù)據(jù)倉(cāng)庫(kù) – 按主題 (實(shí)施過程中 ) ?信息門戶 (Intra 應(yīng)用） – 生產(chǎn)管理信息 – 技術(shù)質(zhì)量信息 – 企業(yè)統(tǒng)計(jì)信息 – 生產(chǎn)區(qū)域信息 (冷軋 , 熱軋 ,…) – 生產(chǎn)管制信息 – ... 質(zhì)量數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)環(huán)境 ?來源于 9672上的 DB2 ?下載后的數(shù)據(jù)成為 ODD(Operational Data Definition) ?形成 22個(gè)主題數(shù)據(jù)表 ?采用星狀的數(shù)據(jù)模型 ?支持不同種類的應(yīng)用 質(zhì)量數(shù)據(jù)倉(cāng)庫(kù)主題一覽 Color 電爐和初軋 線材 電鍍錫 電鍍鋅 普板 熱鍍鋅 彩涂 電工鋼 小方坯
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1