數(shù)據(jù)挖掘2、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(shù)-wenkub.com
2025-03-06 10:50 本頁面
【正文】 有以下幾種： ? 數(shù)據(jù)倉庫結(jié)構(gòu)的描述 ? 倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容 ? 操作元數(shù)據(jù) ? 包括數(shù)據(jù)血統(tǒng) (data lineage)、數(shù)據(jù)類別 (currency of data)，以及監(jiān)視信息 ? 匯總用的算法 ? 由操作環(huán)境到數(shù)據(jù)倉庫的映射 ? 關(guān)于系統(tǒng)性能的數(shù)據(jù) ? 索引， profiles，數(shù)據(jù)刷新、更新或復(fù)制事件的調(diào)度和定時(shí) ? 商務(wù)元數(shù)據(jù) ? 商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息、收費(fèi)政策等 元數(shù)據(jù)的使用 ? 元數(shù)據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個(gè)模型的結(jié)構(gòu)方面的信息。 ? 自底向上方法提供了更多的開發(fā)靈活性，價(jià)格便宜；但往往會(huì)遇到集成問題（每個(gè)模塊單獨(dú)運(yùn)行都沒有問題，但是一集成就出異常） ? 解決方法： ? 使用遞增性、演化性的開發(fā)方法 ? 高層數(shù)據(jù)模型 ?企業(yè)倉庫和數(shù)據(jù)集市并行開發(fā) ?通過分布式模型集成各數(shù)據(jù)集市 ?多層數(shù)據(jù)倉庫 數(shù)據(jù)倉庫開發(fā) ——一個(gè)推薦的方法 定義高層數(shù)據(jù)模型 數(shù)據(jù)集市 數(shù)據(jù)集市 分布式數(shù)據(jù)集市 多層數(shù)據(jù)倉庫 企業(yè)數(shù)據(jù)倉庫 模型提煉 模型提煉 OLAP服務(wù)器類型 (1) ? 邏輯上， OLAP服務(wù)器從數(shù)據(jù)倉庫或數(shù)據(jù)集市中給商業(yè)用戶提供多維數(shù)據(jù) ? 物理上， OLAP的底層數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)可以有多種不同的方式 ? 關(guān)系 OLAP服務(wù)器 (ROLAP) ? 使用關(guān)系數(shù)據(jù)庫或擴(kuò)展的關(guān)系數(shù)據(jù)庫存放并管理數(shù)據(jù)倉庫的數(shù)據(jù)，而用 OLAP中間件支持其余部分 ? 包括每個(gè) DBMS后端優(yōu)化，聚集導(dǎo)航邏輯的實(shí)現(xiàn)，附加的工具和服務(wù) ? 較大的可擴(kuò)展性 OLAP服務(wù)器類型 (2) ? 多維 OLAP服務(wù)器 (MOLAP) ? 基于數(shù)組的多維存儲(chǔ)引擎（稀疏矩陣技術(shù)） ? 能對(duì)預(yù)計(jì)算的匯總數(shù)據(jù)快速索引 ? 混合 OLAP服務(wù)器 (HOLAP) ? 結(jié)合上述兩種技術(shù)，更大的使用靈活性 ? 特殊的 SQL服務(wù)器 ? 在星型和雪花模型上支持 SQL查詢 數(shù)據(jù)倉庫的實(shí)現(xiàn) ——數(shù)據(jù)立方體的有效計(jì)算 ? 數(shù)據(jù)倉庫中的 OLAP查詢是一種海量數(shù)據(jù)計(jì)算 （想象一下對(duì)過去 10年各地區(qū)的軟件產(chǎn)品銷售的匯總查詢） ? 用戶卻希望這個(gè)計(jì)算能在數(shù)秒鐘內(nèi)完成 ? 解決方法在于給出一種有效的計(jì)算數(shù)據(jù)立方體的方法 ? 數(shù)據(jù)立方體可以被看成是一個(gè) 方體的格 ? 最底層的方體是基本方體 ? 最頂端的方體（頂點(diǎn)）只包含一個(gè)單元的值 ? 一個(gè) n維的數(shù)據(jù)立方體，每維 L層，可能產(chǎn)生的方體總數(shù)是多少？ )11( ???? ni iLT(item) (city) () (year) (city, item) (city, year) (item, year) (city, item, year) 方體的操作 ? DMQL中的方體定義和計(jì)算 ? define cube sales[item, city, year]: sum(sales_in_dollars) ? pute cube sales ? 上述的 pute cube子句可以轉(zhuǎn)化為一個(gè)類似于 SQL的語句 ? SELECT item, city, year, SUM (amount) ? FROM SALES ? CUBE BY item, city, year ? 這個(gè)相當(dāng)于 SQL中以下的 group by子句 ? (item, city, year) –3D ? (item, city), (item year), (city, year) —2D ? (item), (city), (year) —1D ? () 0D (item) (city) () (year) (city, item) (city, year) (item, year) (city, item, year) 數(shù)據(jù)立方體的物化 ? 數(shù)據(jù)立方體的 物化 可以有以下三種選擇： ? 全物化 ? 預(yù)先計(jì)算所有方體 ? 不物化 ? 不預(yù)先計(jì)算任何“非基本”方體 ? 部分物化 ? 有選擇的計(jì)算一個(gè)所有方體的適當(dāng)子集 ? 考慮因素 :(1)確定要物化的方體； (2)在查詢時(shí)利用物化的方體；(3)在裝載和刷新時(shí)，有效的更新物化的方體 ? 確定物化哪些方體 ? 考慮工作負(fù)荷下的查詢、它們的頻率和它們的開銷等等 方體計(jì)算： ROLAP vs. MOLAP ? 方體計(jì)算的挑戰(zhàn)： 海量數(shù)據(jù)，有限的內(nèi)存和時(shí)間 ? 基于 ROLAP的方法（底層使用關(guān)系模型存儲(chǔ)數(shù)據(jù)） ? 將排序、散列 (hashing)和分組操作應(yīng)用于維的屬性，以便對(duì)相關(guān)元組重新排序和聚類 ? 在某些子聚集上分組，作為“部分分組步驟”。 ? 比如： median()， mode()， rank() 概念分層 (1) ? 一個(gè)概念分層（ concept hierarchy）定義一個(gè)映射序列，將低層概念映射到更一般的高層概念 ? . 表示 location的概念：杭州 ?浙江 ?中國 ?亞洲 ? 概念分層允許我們?cè)诟鞣N抽象級(jí)審查和處理數(shù)據(jù) ? 概念分層可以由系統(tǒng)用戶、領(lǐng)域?qū)＜?、知識(shí)工程師人工的提供，也可以根據(jù)數(shù)據(jù)分布的統(tǒng)計(jì)分析自動(dòng)的產(chǎn)生 概念分層 (2): location維的一個(gè)概念分層 all Europe North_America Mexico Canada Spain Germany Vancouver M. Wind L. Chan ... ... ... ... ... ... all region office country Toronto Frankfurt city 許多概念分層的定義隱含在數(shù)據(jù)庫的模式中。 ? 事實(shí)星座（ Fact constellations） : 多個(gè)事實(shí)表共享維表 , 這種模式可以看作星型模式集，因此稱為星系模式（ galaxy schema），或者事實(shí)星座（ fact constellation） 星型模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city state_or_province country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch 雪花模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city_key location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1