數(shù)據(jù)挖掘3數(shù)據(jù)預(yù)處理(浙大)(編輯修改稿)
2024-11-15 19:44 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 v數(shù)據(jù)歸約策略 ? 數(shù)據(jù)倉(cāng)庫(kù)中往往存有海量數(shù)據(jù)，在其上進(jìn)行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長(zhǎng)的時(shí)間 ? 數(shù)據(jù)歸約 ? 數(shù)據(jù)歸約可以用來(lái)得到數(shù)據(jù)集的歸約表示，它小得多，但可以產(chǎn)生相同的（或幾乎相同的）分析結(jié)果 ? 數(shù)據(jù)歸約策略 ? 數(shù)據(jù)立方體聚集 ? 維歸約 ? 數(shù)據(jù)壓縮 ? 數(shù)值歸約 ? 離散化和概念分層產(chǎn)生 ? 用于數(shù)據(jù)歸約的時(shí)間不應(yīng)當(dāng)超過(guò)或“抵消”在歸約后的數(shù)據(jù)上挖掘節(jié)省的時(shí)間。 數(shù)據(jù)立方體聚集 ? 最底層的方體對(duì)應(yīng)于基本方體 ? 基本方體對(duì)應(yīng)于感興趣的實(shí)體 ? 在數(shù)據(jù)立方體中存在著不同級(jí)別的匯總 ? 數(shù)據(jù)立方體可以看成方體的格 ? 每個(gè)較高層次的抽象將進(jìn)一步減少結(jié)果數(shù)據(jù) ? 數(shù)據(jù)立方體提供了對(duì)預(yù)計(jì)算的匯總數(shù)據(jù)的快速訪問(wèn) ? 使用與給定任務(wù)相關(guān)的最小方體 ? 在可能的情況下，對(duì)于匯總數(shù)據(jù)的查詢(xún)應(yīng)當(dāng)使用數(shù)據(jù)立方體 維歸約 ? 通過(guò)刪除不相干的屬性或維減少數(shù)據(jù)量 ? 屬性子集選擇 ? 找出最小屬性集，使得數(shù)據(jù)類(lèi)的概率分布盡可能的接近使用所有屬性的原分布 ? 減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解 ? 啟發(fā)式的（探索性的）方法 ? 逐步向前選擇 ? 逐步向后刪除 ? 向前選擇和向后刪除相結(jié)合 ? 判定歸納樹(shù) 數(shù)據(jù)壓縮 ? 有損壓縮 VS. 無(wú)損壓縮 ? 字符串壓縮 ? 有廣泛的理論基礎(chǔ)和精妙的算法 ? 通常是無(wú)損壓縮 ? 在解壓縮前對(duì)字符串的操作非常有限 ? 音頻 /視頻壓縮 ? 通常是有損壓縮，壓縮精度可以遞進(jìn)選擇 ? 有時(shí)可以在不解壓整體數(shù)據(jù)的情況下，重構(gòu)某個(gè)片斷 ? 兩種有損數(shù)據(jù)壓縮的方法：小波變換和主要成分分析 數(shù)值歸約 ? 通過(guò)選擇替代的、較小的數(shù)據(jù)表示形式來(lái)減少數(shù)據(jù)量 ? 有參方法：使用一個(gè)參數(shù)模型估計(jì)數(shù)據(jù)，最后只要存儲(chǔ)參數(shù)即可。 ? 線性回歸方法： Y=α+βX ? 多元回歸：線性回歸的擴(kuò)充 ? 對(duì)數(shù)線性模型：近似離散的多維數(shù)據(jù)概率分布 ? 無(wú)參方法： ? 直方圖 ? 聚類(lèi) ? 選樣 直方圖 ? 一種流行的數(shù)據(jù)歸約技術(shù) ? 將某屬性的數(shù)據(jù)劃分為不相交的子集，或桶，桶中放置該值的出現(xiàn)頻率 ? 桶和屬性值的劃分規(guī)則 ? 等寬 ? 等深 ? V最優(yōu) ? MaxDiff 051015202530354010000 30000 50000 70000 90000聚類(lèi) ? 將數(shù)據(jù)集劃分為聚類(lèi)，然后通過(guò)聚類(lèi)來(lái)表示數(shù)據(jù)集 ? 如果數(shù)據(jù)可以組成各種不同的聚類(lèi)，則該技術(shù)非常有效，反之如果數(shù)據(jù)界線模糊，則方法無(wú)效 ? 數(shù)據(jù)可以分層聚類(lèi)，并被存儲(chǔ)在多層
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1