數(shù)據(jù)挖掘基于約束的挖掘-wenkub
2022-09-11 09:03:19 本頁面
【正文】 。min()=500 (7)with support threshold=1% (8)with confidence threshold=50% Lives(C,_,”Pudong”)^Sales(C,”Census_CD”,_)^Sales(C,”MS/Office”,_)=Sales(C,”MS/SQLSever”,_) [%,65%] 約束的分類 ? 單調性約束 (monotone constraint) ? 反單調性約束 (antimonotone constraint) ? 可轉變的約束 (convertibale constraint) ? 簡潔性約束 (succinct constraint) 約束的有關概念 ? 項目集： I={i1,i2,…… ,im}, ? 交易： T=tid,It ? 模式 S是項目集的子集， S={ij1,ij2,… ,ijk} ? 模式 S包含與 T,T=tid,It,iff S=It。 b:3。 TDB|d。 ? 應用： ? 購物籃分析、交叉銷售、產(chǎn)品目錄設計、 lossleader analysis、聚集、分類等。 for (k = 2。 Apriori算法 — 例子 T ID Ite m s100 1 3 4200 2 3 5300 1 2 3 5400 2 5數(shù)據(jù)庫 D ite m s e t s u p .{ 1 } 2{ 2 } 3{ 3 } 3{ 4 } 1{ 5 } 3i te m s e t s u p .{ 1 } 2{ 2 } 3{ 3 } 3{ 5 } 3掃描 D C1 L1 item set{1 2}{1 3}{1 5}{2 3}{2 5}{3 5}ite m s et s up{ 1 2} 1{ 1 3} 2{ 1 5} 1{ 2 3} 2{ 2 5} 3{ 3 5} 2ite m s e t s u p{ 1 3 } 2{ 2 3 } 2{ 2 5 } 3{ 3 5 } 2L2 C2 C2 掃描 D C3 L3 item set{2 3 5}掃描 D ite m s e t s u p{ 2 3 5 } 2如何生成候選集 ? 假定 Lk1 中的項按順序排列 ? 第一步 : 自連接 Lk1 insert into Ck select , , …, k1, from Lk1 p, Lk1 q where =, …, k2=, ? 第二步 : 修剪 For all itemsets c in Ck do For all (k1)subsets s of c do if (s is not in Lk1) then delete c from Ck ? 計算支持度為什么會成為一個問題？ ? 候選集的個數(shù)非常巨大 ? 一筆交易可能包含多個候選集 生成候選集的例子 ? L3={abc, abd, acd, ace, bcd} ? 自連接 : L3*L3 ? abc 和 abd 得到 abcd ? acd 和 ace 得到 acde ? 修剪 : ? ade 不在 L3中，刪除 acde ? C4={abcd} 提高 Apriori效率的方法 Hash的項集計數(shù) : 若 k項集在 hashtree的路徑上的一個計數(shù)值低于閾值，那他本身也不可能是頻繁的。(157頁圖 56) : 使用小的支持度 +完整性驗證方法。 步驟 1: 建立 FPtree （ 159頁圖 68） ? 從 FPtree的頭表開始 ? 按照每個頻繁項的連接遍歷 FPtree ? 列出能夠到達此項的所有前綴路徑，得到條件模式庫 步驟 2:建立條件 FPtree進行挖掘（ 159頁圖 69） ? 對每個模式庫 ? 計算庫中每個項的支持度 ? 用模式庫中的頻繁項建立 FPtree 為什么 頻繁集增長 速度快？ ? 我們的性能研究顯示 ? FPgrowth 比 Apriori快一個數(shù)量級 , 同樣也比 treeprojection 快。 黃面包 [6%, 50%]. ? 多層關聯(lián)規(guī)則的變種 1 支持度不變 : 在各層之間使用統(tǒng)一的支持度 ? + 一個最小支持度閾值 . 如果一個項集的父項集不具有最小支持度，那他本身也不可能滿足最小支持度。 Han, SSD’95). 第 6章：從大數(shù)據(jù)庫中挖掘關聯(lián)規(guī)則 ? 關聯(lián)規(guī)則挖掘 ? ? ? 聯(lián)規(guī)則 ? ? ? 多維關聯(lián)規(guī)則： 概念 ? 單維規(guī)則： buys(X, ―milk‖) ? buys(X, ―bread‖) ? 多維規(guī)則： 2個以上維 /謂詞 ? 維間關聯(lián)規(guī)則 (維詞 不重復 ) age(X,‖1925‖) ? occupation(X,―student‖) ? buys(X,―coke‖) ? 混合維關聯(lián)規(guī)則 (維詞重復 ) age(X,‖1925‖) ? buys(X, ―popcorn‖) ? buys(X, ―coke‖) ? 類別屬性 ? 有限個值 , 值之間無順序關系 ? 數(shù)量屬性 ? 數(shù)字的，值之間隱含了順序關系 挖掘多維關聯(lián)的技術 ? 搜索頻繁 k維詞集合： ? 如 : {age, occupation, buys} 是一個 3維詞集合。 ? 適宜使用數(shù)據(jù)立方體 ? N維立方體的每個單元 對應一個維詞集合 ? 使用數(shù)據(jù)立方體速度更快 (ine) (age) () (buys) (age, ine) (age,buys) (ine,buys) (age,ine,buys) 帶數(shù)量的關聯(lián)規(guī)則 age(X,”3034”) ? ine(X,”24K 48K”) ? buys(X,”high resolution TV”) ? 動態(tài) 離散化數(shù)值屬性 使?jié)M足某種挖掘標準，如最大化挖掘規(guī)則的置信度緊湊性 . ? 2維數(shù)量關聯(lián)規(guī)則： Aquan1 ? Aquan2 ? Acat ? 用 2維表格把“鄰近”的 關聯(lián)規(guī)則組合起來 ? 例子 ARCS (關聯(lián)規(guī)則聚集系統(tǒng) ) ARCS 流程 1. 分箱 2. 查找頻繁維詞 集合 3. 關聯(lián)規(guī)則聚類 4. 優(yōu)化 ARCS的局限性 ? 數(shù)值屬性只能出現(xiàn)在規(guī)則的左側 ? 左側只能有兩個屬性 (2維 ) ? ARCS 的改進 ? 不用基于柵格的方法 ? 等深分箱 ? 基于 局部完整性 測度的聚集 ? “ Mining Quantitative Association Rules in Large Relational Tables‖ by R. Srikant and R. Agrawal. 挖掘基于距離的關聯(lián)規(guī)則 ? 分箱的方法沒有體現(xiàn)數(shù)據(jù)間隔的語義 ? 基于距離的分割是更有“意義”的離散化方法，考慮： ? 區(qū)間內密度或點的個數(shù) ? 區(qū)間內點的“緊密程度 價格（ $ ）等寬( 寬度
醫(yī)療健康相關推薦
鄂ICP備17016276號-1