數(shù)據(jù)挖掘從大數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則-展示頁
2024-09-12 09:03本頁面
【正文】 set{1 2}{1 3}{1 5}{2 3}{2 5}{3 5}ite m s et s up{ 1 2} 1{ 1 3} 2{ 1 5} 1{ 2 3} 2{ 2 5} 3{ 3 5} 2ite m s e t s u p{ 1 3 } 2{ 2 3 } 2{ 2 5 } 3{ 3 5 } 2L2 C2 C2 掃描 D C3 L3 item set{2 3 5}掃描 D ite m s e t s u p{ 2 3 5 } 22020116 數(shù)據(jù)挖掘：概念和技術(shù) 12 如何生成候選集 ? 假定 Lk1 中的項按順序排列 ? 第一步 : 自連接 Lk1 insert into Ck select , , …, k1, from Lk1 p, Lk1 q where =, …, k2=, ? 第二步 : 修剪 forall itemsets c in Ck do forall (k1)subsets s of c do if (s is not in Lk1) then delete c from Ck 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 13 如何計算候選集的支持度 ? 計算支持度為什么會成為一個問題 ？ ? 候選集的個數(shù)非常巨大 ? 一筆交易可能包含多個候選集 ? 方法 : ? 用 hashtree 存放候選集 ? 樹的 葉子節(jié)點 of存放項集的列表和支持度 ? 內(nèi)部節(jié)點 是一個 hash表 ? Subset 函數(shù) : 找到包含在一筆交易中的所有候選集 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 14 生成候選集的例子 ? L3={abc, abd, acd, ace, bcd} ? 自連接 : L3*L3 ? abc 和 abd 得到 abcd ? acd 和 ace 得到 acde ? 修剪 : ? ade 不在 L3中，刪除 acde ? C4={abcd} 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 15 提高 Apriori效率的方法 ? 基于 Hash的項集計數(shù) : 如果一個 k項集在 hashtree的路徑上的一個計數(shù)值低于閾值，那他本身也不可能是頻繁的。 k++) do begin Ck+1 = candidates generated from Lk。 for (k = 1。 Y ? Z 具有最小支持度和可信度 ? 支持度 , s, 一次交易中包含{X 、 Y 、 Z}的 可能性 ? 可信度 , c, 包含 {X 、 Y}的交易中也包含 Z的 條件概率 交易 ID 購買的商品2020 A ,B ,C1000 A ,C4000 A ,D5000 B ,E ,F設(shè)最小支持度為 50%, 最小可信度為 50%, 則可得到 ? A ? C (50%, %) ? C ? A (50%, 100%) 買尿布的客戶 二者都買的客戶 買啤酒的客戶 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 6 關(guān)聯(lián)規(guī)則挖掘：路線圖 ? 布爾 vs. 定量 關(guān)聯(lián) (基于 處理數(shù)據(jù)的類型 ) ? buys(x, ―SQLServer‖) ^ buys(x, ―DMBook‖) ???buys(x, ―DBMiner‖) [%, 60%] ? age(x, ―30..39‖) ^ ine(x, ―42..48K‖) ???buys(x, ―PC‖) [1%, 75%] ? 單維 vs. 多維 關(guān)聯(lián) (例子同上 ) ? 單層 vs. 多層 分析 ? 那個品種牌子的啤酒與那個牌子的尿布有關(guān)系 ? ? 各種擴展 ? 相關(guān)性、因果分析 ? 關(guān)聯(lián)并不一定意味著相關(guān)或因果 ? 最大模式和閉合相集 ? 添加約束 ? 如 , 哪些“小東西”的銷售促發(fā)了“大家伙”的買賣？ 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 7 第 6章：從大數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則挖掘 ? 從交易數(shù)據(jù)庫中挖掘一維的布爾形關(guān)聯(lián)規(guī)則 ? 從交易數(shù)據(jù)庫中挖掘多層次關(guān)聯(lián)規(guī)則 ? 在交易數(shù)據(jù)庫和數(shù)據(jù)倉庫中挖掘多維關(guān)聯(lián)規(guī)則 ? 從關(guān)聯(lián)挖掘到相關(guān)性分析 ? 基于約束的關(guān)聯(lián)挖掘 ? 小結(jié) 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 8 關(guān)聯(lián)規(guī)則挖掘 —一個例子 對于 A ? C： support = support({A 、 C}) = 50% confidence = support({A 、 C})/support({A}) = % Apriori的基本思想 : 頻繁項集的任何子集也一定是頻繁的 交易 ID 購買商品2020 A ,B ,C1000 A ,C4000 A ,D5000 B ,E ,F頻繁項集 支持度{ A } 75%{ B } 50%{ C} 50%{ A ,C} 50%最小值尺度 50% 最小可信度 50% 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 9 關(guān)鍵步驟：挖掘頻繁集 ? 頻繁集 :是指滿足最小支持度的項目集合 ? 頻繁集的子集也一定是頻繁的 ? 如 , 如果 {AB} 是頻繁集，則 {A} {B} 也一定是頻繁集 ? 從 1到 k（ k頻繁集）遞歸查找頻繁集 ? 用得到的頻繁集生成關(guān)聯(lián)規(guī)則 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 10 Apriori算法 ? 連接 : 用 Lk1自連接得到 Ck ? 修剪 : 一個 k項集，如果他的一個 k1項集（他的子集 ）不是頻繁的，那他本身也不可能是頻繁的。 ? 應(yīng)用： ? 購物籃分析 、 交叉銷售、產(chǎn)品目錄設(shè)計 、 lossleader analysis、 聚集、分類等。2020116 數(shù)據(jù)挖掘：概念和技術(shù) 1 數(shù)據(jù)挖掘 : 概念和技術(shù) — Chapter 6 — 169。 張曉輝 復(fù)旦大學(xué) （國際）數(shù)據(jù)庫研究中心 2020116 數(shù)據(jù)挖掘：概念和技術(shù) 2
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1