a數(shù)據(jù)倉(cāng)庫(kù)概述ppt課件-文庫(kù)吧資料
2025-05-18 04:59本頁(yè)面
【正文】 據(jù)挖掘允許你在山 中篩選數(shù)據(jù)，得到對(duì)你有用的信息 39 數(shù)據(jù)挖掘的過(guò)程 Data Cleaning 數(shù)據(jù)整理 Data Integration數(shù)據(jù)集成 數(shù)據(jù)庫(kù) 數(shù)據(jù) 倉(cāng)庫(kù) 相關(guān)任務(wù)數(shù)據(jù) 挑選 數(shù)據(jù)挖掘 模式評(píng)估 Pattern Evaluation 40 數(shù)據(jù)倉(cāng)庫(kù)的投資回報(bào)率（ ROI） 96年， IDC（ Intenational Data Corporation)做了關(guān)于數(shù)據(jù)倉(cāng)庫(kù)經(jīng)濟(jì)價(jià)值的研究。 數(shù)據(jù)挖掘 就是對(duì)觀測(cè)到的數(shù)據(jù)集（經(jīng)常是很龐大的）進(jìn)行分析，目的是發(fā)現(xiàn)未知的關(guān)系和以數(shù)據(jù)擁有者可以理解并對(duì)其有價(jià)值的新穎方式來(lái)總結(jié)數(shù)據(jù)。如果山是巨大的，發(fā)現(xiàn)其中重要的有價(jià)值的位置本身是非常耗時(shí)的。 36 若把大量的數(shù)據(jù)比做藏有金子的山， OLAP提供了在山中各處迅速地觀察工具，它能讓你迅速的到達(dá)你想到的地方。（比如在搜索引擎查“數(shù)據(jù)挖掘”返回許多頁(yè)面，而有關(guān)的“數(shù)據(jù)開(kāi)采”， “知識(shí)發(fā)現(xiàn)”又沒(méi)有返回）。 在 OLAP使用中，一般是用戶提出一個(gè)假設(shè)（模式），通過(guò)OLAP去驗(yàn)證假定或從返回的數(shù)據(jù)信息中總結(jié)出某種規(guī)律 。 35 三、數(shù)據(jù)挖掘 OLAP使用戶能利用工具快速的查詢(xún)數(shù)據(jù)。所以，實(shí)時(shí)計(jì)算的工作量極大，但全部事先計(jì)算，則存儲(chǔ)量又極大。 對(duì)數(shù)據(jù)倉(cāng)庫(kù)中，如果粒度和分割做得很好的話，則數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和實(shí)現(xiàn)的幾乎所有其它問(wèn)題都解決了。 分割標(biāo)準(zhǔn)：日期、地域、業(yè)務(wù)領(lǐng)域等?？梢哉J(rèn)為該數(shù)據(jù)倉(cāng)庫(kù)在時(shí)間上有 多重粒度。因此可以考慮數(shù)據(jù)倉(cāng)庫(kù)的粒度級(jí)別以星期為單位，即在數(shù)據(jù)從數(shù)據(jù)庫(kù)裝入數(shù)據(jù)倉(cāng)庫(kù)時(shí)，按星期匯總。只有將粒度確定為“天”才有可能。 23 時(shí)間 地區(qū) 產(chǎn)品 原點(diǎn) 此處正好構(gòu)成一個(gè)數(shù)據(jù)立方體，可以有更高階的維，但仍然稱(chēng)為 數(shù)據(jù)立方體。（如 MS) 4）特殊的 SQL服務(wù)器 ,為了滿足在關(guān)系數(shù)據(jù)庫(kù)中日益增長(zhǎng)的 OLAP需要 ,實(shí)現(xiàn)了特殊的 SQL服務(wù)器 ,提供高級(jí)查詢(xún)語(yǔ)言和查詢(xún)處理 ,在星型和雪花模式上支持 SQL查詢(xún) 20 ? ROLAP優(yōu)勢(shì) – 沒(méi)有大小限制 – 現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)的技術(shù)可以沿用 . – 可以通過(guò) SQL實(shí)現(xiàn)詳細(xì)數(shù)據(jù)與概要數(shù)據(jù)的存儲(chǔ) – 現(xiàn)有關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)對(duì)OLAP做了很多優(yōu)化，包括并行存儲(chǔ)、并行查詢(xún)、并行數(shù)據(jù)管理、基于成本的查詢(xún)優(yōu)化、位圖索引、 SQL 的 OLAP擴(kuò)展 (cube,rollup)等大大提高 ROALP的速度 ? MOLAP優(yōu)勢(shì) – 性能好、響應(yīng)速度快 – 專(zhuān)為 OLAP所設(shè)計(jì) – 支持高性能的決策支持計(jì)算 ? 復(fù)雜的跨維計(jì)算 ? 多用戶的讀寫(xiě)操作 ? 行級(jí)的計(jì)算 ROLAP與 MOLAP比較 21 ? ROLAP缺點(diǎn) – 一般比 MOLAP響應(yīng)速度慢 – 不支持有關(guān)預(yù)計(jì)算的讀寫(xiě)操作 – SQL無(wú)法完成部分計(jì)算 ? 無(wú)法完成多行的計(jì)算 ? 無(wú)法完成維之間的計(jì)算 ? MOLAP缺點(diǎn) – 增加系統(tǒng)復(fù)雜度，增加系統(tǒng)培訓(xùn)與維護(hù)費(fèi)用 – 受操作系統(tǒng)平臺(tái)中文件大小的限制，難以達(dá)到TB 級(jí) (只能 10~20G) – 需要進(jìn)行預(yù)計(jì)算，可能導(dǎo)致數(shù)據(jù)爆炸 – 無(wú)法支持維的動(dòng)態(tài)變化 – 缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問(wèn)的標(biāo)準(zhǔn) 22 維的概念： 一個(gè)電子公司的銷(xiāo)售一般從三個(gè)方面分析銷(xiāo)售額： 時(shí)間： 在某一段時(shí)間內(nèi)的銷(xiāo)售情況，其度量為（年、季度、月、旬、天） 地區(qū)： 在某個(gè)地區(qū)的銷(xiāo)售情況，度量可分為（地區(qū)、國(guó)家、省、市） 產(chǎn)品： 某類(lèi)或某型號(hào)產(chǎn)品的銷(xiāo)售情況，度量可分為（類(lèi)別、型號(hào)等） 此處，（時(shí)間，地區(qū)，產(chǎn)品）就構(gòu)成了三個(gè)維。 18 為什么需要分離的 OLAP或數(shù)據(jù)倉(cāng)庫(kù) 分離操作數(shù)據(jù)庫(kù)系統(tǒng)和 OLAP數(shù)據(jù)倉(cāng)庫(kù)的主要原因是提高兩個(gè)系統(tǒng)的性能 .操作數(shù)據(jù)庫(kù)系統(tǒng)是為已知的任務(wù)和負(fù)載設(shè)計(jì)的 ,而數(shù)據(jù)倉(cāng)庫(kù)的查詢(xún)通常是復(fù)雜的 ,涉及大量數(shù)據(jù)在匯總級(jí)的計(jì)算 ,在操作數(shù)據(jù)庫(kù)系統(tǒng)上處理 OLAP查詢(xún) ,可能會(huì)大大降低操作任務(wù)的性能。 定義 2 ： OLAP(聯(lián)機(jī)分析處理 ) 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類(lèi)軟件技術(shù)。 17 OLAP定義 定義 1 ： OLAP(聯(lián)機(jī)分析處理 )是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。OLAP系統(tǒng)與數(shù)據(jù)源的數(shù)據(jù)存儲(chǔ)相分離，只要提供足夠的數(shù)據(jù)即可完成 OLAP分析。因此， 念，即 OLAP。1993年， OLAP概念，認(rèn)為 OLTP已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢(xún)分析的需要， SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢(xún)也不能滿足終端用戶分析的要求。 13 針對(duì)工商企業(yè)目前業(yè)務(wù)自動(dòng)化設(shè)計(jì) 針對(duì)工商企業(yè)數(shù)據(jù)分析而設(shè)計(jì) 是在協(xié)助工作人員執(zhí)行既有的活動(dòng) 是在協(xié)助工作人員執(zhí)行管理決策 可以讓多個(gè)用戶同時(shí)使用信息系統(tǒng) 一般而言，同時(shí)間不會(huì)有太多用戶同時(shí)使 用系統(tǒng) 存儲(chǔ)的數(shù)據(jù)比較偏重細(xì)節(jié) 存儲(chǔ)的數(shù)據(jù)偏重較高級(jí)別的集合信息 數(shù)據(jù)的來(lái)源是用戶日常工作的輸入 數(shù)據(jù)的來(lái)源是 OLTP系統(tǒng) 數(shù)據(jù)庫(kù)的內(nèi)容會(huì)隨時(shí)被添加、刪除，時(shí) 間短而且占用系統(tǒng)的資源少 數(shù)據(jù)內(nèi)容是歷史數(shù)據(jù)，不會(huì)隨時(shí)加以更新 數(shù)據(jù)的處理以交易為單位，交易時(shí)間短 而且占用的資源少 數(shù)據(jù)的處理不是以交易為單位，一個(gè)用戶 的需求會(huì)占用大量的系統(tǒng)資源 設(shè)計(jì)數(shù)據(jù)庫(kù)是采用正規(guī)化的設(shè)計(jì)方法 設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)采用非正規(guī)化的設(shè)計(jì)方式 數(shù)據(jù)庫(kù)數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù) 14 數(shù)據(jù)倉(cāng)庫(kù)還具有的特點(diǎn)： 1）將分散在各處不同性質(zhì)的數(shù)據(jù)整合到單數(shù)據(jù)集合中 2）使用適合數(shù)據(jù)分析的結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù) 3）包含由日常交易數(shù)據(jù)轉(zhuǎn)換而來(lái)的數(shù)據(jù)，以供管理員決策分析 4）要能夠及時(shí)從數(shù)據(jù)倉(cāng)庫(kù)中取得信息 5）數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)在內(nèi)部必須有一致性 6）用戶可以對(duì)取得的分析數(shù)據(jù)做細(xì)分與比較 7）數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)必須包含易于使用的瀏覽工具 8）在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)必須完整而且正確。 12 數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn)是為 分析型處理 ?用于企業(yè)管理人員的決策分析，為制訂企業(yè)的未來(lái)經(jīng)營(yíng)管理計(jì)劃提供輔助決策信息，如 決策支持系統(tǒng) (DSSDecision Support System )。 DB 抽取 DB DB ………. 8 問(wèn)題 1： 蜘蛛網(wǎng)式的拓展 9 問(wèn)題 2： 自然演化體系結(jié)構(gòu)的問(wèn)題 1）數(shù)據(jù)缺乏可信性 ? 數(shù)據(jù)無(wú)時(shí)基 ? 數(shù)據(jù)算法上的差異 ? 抽取的多層次
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1