《a數(shù)據(jù)倉(cāng)庫(kù)概述》ppt課件-全文預(yù)覽
【正文】 倉(cāng)庫(kù)可以輕易拓展到能產(chǎn)生巨大利益的戰(zhàn)略決策過(guò)程中。 IDC的報(bào)告認(rèn)為實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)有較大經(jīng)濟(jì)回報(bào) ，原因是： 41 ? 能應(yīng)用到商業(yè)過(guò)程中，對(duì)商業(yè)過(guò)程做完整的經(jīng)濟(jì)分析。 94年全世界投入了 4640億美元用于開(kāi)發(fā)新技術(shù)。 數(shù)據(jù)挖掘 就是對(duì)觀測(cè)到的數(shù)據(jù)集（經(jīng)常是很龐大的）進(jìn)行分析，目的是發(fā)現(xiàn)未知的關(guān)系和以數(shù)據(jù)擁有者可以理解并對(duì)其有價(jià)值的新穎方式來(lái)總結(jié)數(shù)據(jù)。 36 若把大量的數(shù)據(jù)比做藏有金子的山， OLAP提供了在山中各處迅速地觀察工具，它能讓你迅速的到達(dá)你想到的地方。 在 OLAP使用中，一般是用戶提出一個(gè)假設(shè)（模式），通過(guò)OLAP去驗(yàn)證假定或從返回的數(shù)據(jù)信息中總結(jié)出某種規(guī)律 。所以，實(shí)時(shí)計(jì)算的工作量極大，但全部事先計(jì)算，則存儲(chǔ)量又極大。 分割標(biāo)準(zhǔn)：日期、地域、業(yè)務(wù)領(lǐng)域等。因此可以考慮數(shù)據(jù)倉(cāng)庫(kù)的粒度級(jí)別以星期為單位，即在數(shù)據(jù)從數(shù)據(jù)庫(kù)裝入數(shù)據(jù)倉(cāng)庫(kù)時(shí)，按星期匯總。 23 時(shí)間 地區(qū) 產(chǎn)品 原點(diǎn) 此處正好構(gòu)成一個(gè)數(shù)據(jù)立方體，可以有更高階的維，但仍然稱為 數(shù)據(jù)立方體。 18 為什么需要分離的 OLAP或數(shù)據(jù)倉(cāng)庫(kù) 分離操作數(shù)據(jù)庫(kù)系統(tǒng)和 OLAP數(shù)據(jù)倉(cāng)庫(kù)的主要原因是提高兩個(gè)系統(tǒng)的性能 .操作數(shù)據(jù)庫(kù)系統(tǒng)是為已知的任務(wù)和負(fù)載設(shè)計(jì)的 ,而數(shù)據(jù)倉(cāng)庫(kù)的查詢通常是復(fù)雜的 ,涉及大量數(shù)據(jù)在匯總級(jí)的計(jì)算 ,在操作數(shù)據(jù)庫(kù)系統(tǒng)上處理 OLAP查詢 ,可能會(huì)大大降低操作任務(wù)的性能。 17 OLAP定義 定義 1 ： OLAP(聯(lián)機(jī)分析處理 )是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。因此， 念，即 OLAP。 13 針對(duì)工商企業(yè)目前業(yè)務(wù)自動(dòng)化設(shè)計(jì) 針對(duì)工商企業(yè)數(shù)據(jù)分析而設(shè)計(jì) 是在協(xié)助工作人員執(zhí)行既有的活動(dòng) 是在協(xié)助工作人員執(zhí)行管理決策 可以讓多個(gè)用戶同時(shí)使用信息系統(tǒng) 一般而言，同時(shí)間不會(huì)有太多用戶同時(shí)使 用系統(tǒng) 存儲(chǔ)的數(shù)據(jù)比較偏重細(xì)節(jié) 存儲(chǔ)的數(shù)據(jù)偏重較高級(jí)別的集合信息 數(shù)據(jù)的來(lái)源是用戶日常工作的輸入 數(shù)據(jù)的來(lái)源是 OLTP系統(tǒng) 數(shù)據(jù)庫(kù)的內(nèi)容會(huì)隨時(shí)被添加、刪除，時(shí) 間短而且占用系統(tǒng)的資源少 數(shù)據(jù)內(nèi)容是歷史數(shù)據(jù)，不會(huì)隨時(shí)加以更新 數(shù)據(jù)的處理以交易為單位，交易時(shí)間短 而且占用的資源少 數(shù)據(jù)的處理不是以交易為單位，一個(gè)用戶 的需求會(huì)占用大量的系統(tǒng)資源 設(shè)計(jì)數(shù)據(jù)庫(kù)是采用正規(guī)化的設(shè)計(jì)方法 設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)采用非正規(guī)化的設(shè)計(jì)方式 數(shù)據(jù)庫(kù)數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù) 14 數(shù)據(jù)倉(cāng)庫(kù)還具有的特點(diǎn)： 1）將分散在各處不同性質(zhì)的數(shù)據(jù)整合到單數(shù)據(jù)集合中 2）使用適合數(shù)據(jù)分析的結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù) 3）包含由日常交易數(shù)據(jù)轉(zhuǎn)換而來(lái)的數(shù)據(jù)，以供管理員決策分析 4）要能夠及時(shí)從數(shù)據(jù)倉(cāng)庫(kù)中取得信息 5）數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)在內(nèi)部必須有一致性 6）用戶可以對(duì)取得的分析數(shù)據(jù)做細(xì)分與比較 7）數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)必須包含易于使用的瀏覽工具 8）在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)必須完整而且正確。 DB 抽取 DB DB ………. 8 問(wèn)題 1： 蜘蛛網(wǎng)式的拓展 9 問(wèn)題 2： 自然演化體系結(jié)構(gòu)的問(wèn)題 1）數(shù)據(jù)缺乏可信性 ? 數(shù)據(jù)無(wú)時(shí)基 ? 數(shù)據(jù)算法上的差異 ? 抽取的多層次 ? 外部數(shù)據(jù)問(wèn)題 ? 無(wú)起始公共數(shù)據(jù)源 2）生產(chǎn)率問(wèn)題 為回答一個(gè)決策查詢，需要： ? 定位報(bào)表所需要的數(shù)據(jù)并分析數(shù)據(jù) ? 為報(bào)表編輯數(shù)據(jù) 為完成以上工作，召集程序員 /分析員，對(duì)他們而言： ? 要寫的程序很多 ? 每個(gè)程序必須是定制的 ? 程序涵蓋了公司擁有的所有技術(shù) 10 3）從數(shù)據(jù)到信息的不可行性 在自然演化體系結(jié)構(gòu)中建立起來(lái)的系統(tǒng)對(duì)信息需求的支持是不充分的，原因是它們?nèi)狈尚?、以及在分析性處理需要的時(shí)間上和在蜘蛛網(wǎng)環(huán)境中應(yīng)用程序的可用時(shí)間期限上存在差異。 ? 其訪問(wèn)特點(diǎn)是： ? 通常僅僅是對(duì)一個(gè)或一組記錄的查詢或修改 ? 執(zhí)行頻率高 ? 人們關(guān)心的是處理的響應(yīng)時(shí)間、數(shù)據(jù)的安全性和完整性等指標(biāo)。1 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘 南京理工大學(xué)經(jīng)管院 顏端武 2 教材： [1] 夏火松．?dāng)?shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)（第二版）．北京：科學(xué)出版社， 2022 [2] 李雄飛等．?dāng)?shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘．北京：機(jī)械工業(yè)出版社，2022 [3] （美） Jiawei Han，（加） Micheline Kamber等．?dāng)?shù)據(jù)挖掘概念與技術(shù)（原書第 3版）．范明，孟小峰等譯．北京：機(jī)械工業(yè)出版社， 2022 [4] （美） ．?dāng)?shù)據(jù)倉(cāng)庫(kù)（原書第 4版）．王志海，林友芳等譯．北京：機(jī)械工業(yè)出版社， 2022 3 第一章 引 言 一、從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 在市場(chǎng)經(jīng)濟(jì)激烈競(jìng)爭(zhēng)中，企業(yè)必須把業(yè)務(wù)經(jīng)營(yíng)同市場(chǎng)聯(lián)系，在此基礎(chǔ)上作出科學(xué)、正確的決策以求生存。 保險(xiǎn)公司： 購(gòu)買人壽保險(xiǎn)的客戶一般有哪些特征？ 市場(chǎng)部經(jīng)理： 在過(guò)去的一個(gè)季度里，咨詢哪三樣產(chǎn)品的熱線電話最多？ 4 傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)可以回答這種類似問(wèn)題嗎？ 可以，但是很成問(wèn)題 ?決策者（比如總經(jīng)理）希望得到一項(xiàng)分析數(shù)據(jù) ?需求提交給公司的信息部門，信息部門指派人員編制程序 ?幾天后信息部門的報(bào)表送到?jīng)Q策者手中 ?決策者發(fā)覺(jué)報(bào)表不符合要求，提出修改意見(jiàn)交還給信息部門 ?信息部門修改程序，幾天后新的報(bào)表送給總經(jīng)理 數(shù)據(jù)來(lái)的太慢了，我已經(jīng)對(duì)它不感興趣了！！ 5 傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)可以回答這種類似問(wèn)題嗎？ 可以，但是很成問(wèn)題 ?決策者（比如總經(jīng)理）希望得到一項(xiàng)分析數(shù)據(jù) ?需求提交給公司的信息部門，信息部門指派人員編制程序 ?幾天后信息部門的報(bào)表送到?jīng)Q策者手中 ?決策者發(fā)覺(jué)報(bào)表不符合要求，提出修改意見(jiàn)交還給信息部門 ?信息部門修改程序，幾天后新的報(bào)表送給總經(jīng)理 我辛辛辛苦苦為一個(gè)特定問(wèn)題加班加點(diǎn)干了十天最后被否定了，這已經(jīng)是第n次了， 我辭職不干了??！ 6 原因：數(shù)據(jù)庫(kù)是針對(duì)操作型處理設(shè)計(jì)的 ?也叫事務(wù)處理，是指對(duì)數(shù)據(jù)庫(kù)的日常聯(lián)機(jī)訪問(wèn)操作，所以也叫 聯(lián)機(jī)事務(wù)處理 (OLTP)。最終用戶一旦開(kāi)始控制數(shù)據(jù)，他最終就擁有了這些數(shù)據(jù)。 ? 其訪問(wèn)特點(diǎn)是： ? 需要執(zhí)行大量的統(tǒng)計(jì)操作 ? 需要訪問(wèn)大量的歷史數(shù)據(jù) ? 執(zhí)行頻率和對(duì)響應(yīng)時(shí)間的要求都不高等。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。 當(dāng) OLAP與數(shù)據(jù)倉(cāng)庫(kù)結(jié)合時(shí)， OLAP的數(shù)據(jù)源為數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)的大量數(shù)據(jù)是根據(jù)多維方式組織的。 (OLAP委員會(huì)的定義 )
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1