數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)教案ppt(6-10章)(完整版)
【正文】 法將預(yù)測(cè) X屬于類Ci,當(dāng)且僅當(dāng) P(Ci|X) P(Cj|X), EMAIL: 預(yù)言的基本方法 ? 預(yù)言（ prediction）是一門掌握對(duì)象變化動(dòng)態(tài)的科學(xué)，它是對(duì)對(duì)象變動(dòng)趨勢(shì)的預(yù)見、分析和判斷，也是一種動(dòng)態(tài)分析方法。Apriori性質(zhì)具有一個(gè)頻集的任一非空子集都是頻集。 EMAIL: Apriori算法 — 例子 T ID Ite m s100 1 3 4200 2 3 5300 1 2 3 5400 2 5數(shù)據(jù)庫(kù) D ite m s e t s u p .{ 1 } 2{ 2 } 3{ 3 } 3{ 4 } 1{ 5 } 3i te m s e t s u p .{ 1 } 2{ 2 } 3{ 3 } 3{ 5 } 3掃描 D C1 L1 item set{1 2}{1 3}{1 5}{2 3}{2 5}{3 5}ite m s et s up{ 1 2} 1{ 1 3} 2{ 1 5} 1{ 2 3} 2{ 2 5} 3{ 3 5} 2ite m s e t s u p{ 1 3 } 2{ 2 3 } 2{ 2 5 } 3{ 3 5 } 2L2 C2 C2 掃描 D C3 L3 item set{2 3 5} 掃描 D ite m s e t s u p{ 2 3 5 } 2 EMAIL: 如何生成候選集 ? 假定 Lk1 中的項(xiàng)按順序排列 ? 第一步 : 自連接 Lk1 insert into Ck select , , …, k1, from Lk1 p, Lk1 q where =, …, k2=, ? 第二步 : 修剪 forall itemsets c in Ck do forall (k1)subsets s of c do if (s is not in Lk1) then delete c from Ck EMAIL: 如何計(jì)算候選集的支持度 ?計(jì)算支持度為什么會(huì)成為一個(gè)問題？ ? 候選集的個(gè)數(shù)非常巨大 ? 一筆交易可能包含多個(gè)候選集 ?方法 : ? 用 hashtree 存放候選集 ? 樹的 葉子節(jié)點(diǎn) of存放項(xiàng)集的列表和支持度 ? 內(nèi)部節(jié)點(diǎn) 是一個(gè) hash表 ? Subset 函數(shù) : 找到包含在一筆交易中的所有候選集 EMAIL: 生成候選集的例子 ? L3={abc, abd, acd, ace, bcd} ?自連接 : L3*L3 ? abc 和 abd 得到 abcd ? acd 和 ace 得到 acde ?修剪 : ? ade 不在 L3中，刪除 acde ? C4={abcd} EMAIL: 提高 Apriori效率的方法 ? 基于 Hash的項(xiàng)集計(jì)數(shù) : 如果一個(gè) k項(xiàng)集在 hashtree的路徑上的一個(gè)計(jì)數(shù)值低于閾值，那他本身也不可能是頻繁的。 ? 采樣 : 在給定數(shù)據(jù)的子集上挖掘，使用小的支持度 +完整性驗(yàn)證方法 ? 動(dòng)態(tài)項(xiàng)集計(jì)數(shù) : 在添加一個(gè)新的候選集之前，先估計(jì)一下是不是他的所有子集都是頻繁的。 EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 簡(jiǎn)單形式的關(guān)聯(lián)規(guī)則算法（單維、單層和布爾關(guān)聯(lián)規(guī)則） ? 2 頻集算法的幾種優(yōu)化方法 ? 基于劃分的方法 ? 基于 hash的方法 ? 基于采樣的方法 ? 減少交易的個(gè)數(shù) EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 簡(jiǎn)單形式的關(guān)聯(lián)規(guī)則算法（單維、單層和布爾關(guān)聯(lián)規(guī)則） ? 3 其他的頻集挖掘方法 ? FPgrowth方法 ? min_hashing(MH)和locality_sensitive_hashing(LSH) EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 多層和多維關(guān)聯(lián)規(guī)則的挖掘 ? 多層關(guān)聯(lián)規(guī)則 ? 多維關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則價(jià)值衡量的方法 貨籃子分析存在的問題 ? 詳見課本 EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 關(guān)聯(lián)分析的其他算法 ? 發(fā)現(xiàn)關(guān)聯(lián)的更好方法 ? 統(tǒng)計(jì)相關(guān)以外的 ? 理解關(guān)聯(lián) ? 有效可行的市場(chǎng)籃子分析 挖掘序列模式 ? 序列模式的概念及定義 ? 序列模式挖掘的主要算法 ? GSP算法描述 ? PrefixSpan算法 EMAIL: 關(guān)聯(lián)規(guī)則挖掘 —一個(gè)例子 交易 ID 購(gòu)買商品2023 A ,B ,C1000 A ,C4000 A ,D5000 B ,E ,F頻繁項(xiàng)集 支持度{ A } 75%{ B } 50%{ C} 50%{ A ,C} 50%最小值尺度 50% 最小可信度 50% ? 對(duì)于 A ? C： ? support = support({A 、 C}) = 50% ? confidence = support({A 、 C})/support({A}) = % ? Apriori的基本思想 : ? 頻繁項(xiàng)集的任何子集也一定是頻繁的 EMAIL: 關(guān)鍵步驟：挖掘頻繁集 ?頻繁集 :是指滿足最小支持度的項(xiàng)目集合 ? 頻繁集的子集也一定是頻繁的 ?如 , 如果 {AB} 是頻繁集，則 {A} {B} 也一定是頻繁集 ? 從 1到 k（ k頻繁集）遞歸查找頻繁集 ?用得到的頻繁集生成關(guān)聯(lián)規(guī)則 EMAIL: Apriori算法 ? 連接 : 用 Lk1自連接得到 Ck ? 修剪 : 一個(gè) k項(xiàng)集，如果他的一個(gè) k1項(xiàng)集（他的子集 ）不是頻繁的，那他本身也不可能是頻繁的。 EMAIL: 預(yù)測(cè)分析與趨勢(shì)分析規(guī)則 定量分析預(yù)測(cè) ?時(shí)間序列法 ?回歸預(yù)測(cè) ?非線性模型 ?灰色預(yù)測(cè)模型 GM（ 1， 1） ?組合預(yù)測(cè) EMAIL: 預(yù)測(cè)分析與趨勢(shì)分析規(guī)則 ? 預(yù)測(cè)的結(jié)果分析要考慮到的因素： ? 相反的預(yù)測(cè)結(jié)果 ? 勝出裕度 ? 成本收益分析 EMAIL: 預(yù)測(cè)分析與趨勢(shì)分析規(guī)則 趨勢(shì)分析挖掘 ?分析時(shí)間序列數(shù)據(jù)需要注意以下方面 ： ? 長(zhǎng)時(shí)間的走向 ? 周期的走向與周期的變化 ? 季節(jié)性的走向與變化 ? 不規(guī)則的隨機(jī)走向 EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 關(guān)聯(lián)規(guī)則的概念及分類 ? 1．關(guān)聯(lián)規(guī)則的概念 定義 1 設(shè) I={i i i3， …, im}是由 m個(gè)不同的數(shù)據(jù)項(xiàng)目組成的集合，其中的元素稱為項(xiàng) (item)，項(xiàng)的集合稱為項(xiàng)集，包含 k個(gè)項(xiàng)的項(xiàng)集稱為 k項(xiàng)集 ,給定一個(gè)事務(wù)（交易） D，即交易數(shù)據(jù)庫(kù)，其中的每一個(gè)事務(wù)（交易） T是數(shù)據(jù)項(xiàng) I的一個(gè)子集，即，T有一個(gè)惟一的標(biāo)積符 TID
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1