【文章內(nèi)容簡介】 [support = 2%, confidence = 72%] ? 酸奶占 奶制品 25% ? 我們稱第一個規(guī)則是第二個規(guī)則的祖先 ? 參考規(guī)則的祖先，如果他的支持度與我們“預(yù)期”的支持度近似的話，我們就說這條規(guī)則是冗余的。 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 33 數(shù)據(jù)挖掘查詢的逐步精化 ? 為什么要逐步精化 ? 挖掘操作的代價可能高或低，結(jié)果可能過細致或粗糙 ? 在速度和質(zhì)量之間折衷：逐步精化 ? 超集覆蓋特征 ： ? 預(yù)存儲所有正面答案 —允許進一步正確性驗證，而不必驗證已經(jīng)錯誤的 ? 2或多步挖掘： ? 先執(zhí)行粗糙的、容易的操作 (超集覆蓋 ) ? 然后在減少后的候選集上進行計算量大的算法 (Koperski amp。 Han, SSD’95). 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 34 第 6章：從大數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則挖掘 ? ? ? ? ? ? 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 35 多維關(guān)聯(lián)規(guī)則： 概念 ? 單維規(guī)則： buys(X, ―milk‖) ? buys(X, ―bread‖) ? 多維規(guī)則： 2個以上維 /謂詞 ? 維間關(guān)聯(lián)規(guī)則 (維詞 不重復(fù) ) age(X,‖1925‖) ? occupation(X,―student‖) ? buys(X,―coke‖) ? 混合維關(guān)聯(lián)規(guī)則 (維詞重復(fù) ) age(X,‖1925‖) ? buys(X, ―popcorn‖) ? buys(X, ―coke‖) ? 類別屬性 ? 有限個值 , 值之間無順序關(guān)系 ? 數(shù)量屬性 ? 數(shù)字的，值之間隱含了順序關(guān)系 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 36 挖掘多維關(guān)聯(lián)的技術(shù) ? 搜索頻繁 k維詞集合 ： ? 如 : {age, occupation, buys} 是一個 3維詞集合。 ? 按照對 age 處理方式的不同，分為： 1. 用靜態(tài)方法把數(shù)值屬性離散化 ? 數(shù)值屬性可用預(yù)定義的概念層次加以離散化 。 2. 帶數(shù)量的關(guān)聯(lián)規(guī)則 ? 根據(jù)數(shù)據(jù)的分布，動態(tài)的把數(shù)值屬性離散化到不同的“箱” 。 3. 基于距離的關(guān)聯(lián)規(guī)則 ? 用數(shù)據(jù)點之間的距離動態(tài)的離散化 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 37 數(shù)值屬性的靜態(tài)離散化 ? 在挖掘之前用概念層次先離散化 ? 數(shù)值被替換為區(qū)間范圍 ? 關(guān)系數(shù)據(jù)庫中，要找到所有頻繁 k維詞需要 k或 k+1次表掃描。 ? 適宜使用數(shù)據(jù)立方體 ? N維立方體的每個單元 對應(yīng)一個維詞集合 ? 使用數(shù)據(jù)立方體速度更快 (ine) (age) () (buys) (age, ine) (age,buys) (ine,buys) (age,ine,buys) 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 38 帶數(shù)量的關(guān)聯(lián)規(guī)則 age(X,”3034”) ? ine(X,”24K 48K”) ? buys(X,”high resolution TV”) ? 動態(tài) 離散化數(shù)值屬性 使?jié)M足某種挖掘標準，如最大化挖掘規(guī)則的置信度緊湊性 . ? 2維數(shù)量關(guān)聯(lián)規(guī)則： Aquan1 ? Aquan2 ? Acat ? 用 2維表格把“鄰近”的 關(guān)聯(lián)規(guī)則組合起來 ? 例子 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 39 ARCS (關(guān)聯(lián)規(guī)則聚集系統(tǒng) ) （ 170頁圖 618） ARCS 流程 1. 分箱 2. 查找頻繁維詞 集合 3. 關(guān)聯(lián)規(guī)則聚類 4. 優(yōu)化 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 40 ARCS的局限性 ? 數(shù)值屬性只能出現(xiàn)在規(guī)則的左側(cè) ? 左側(cè)只能有兩個屬性 (2維 ) ? ARCS 的改進 ? 不用基于柵格的方法 ? 等深分箱 ? 基于 局部完整性 測度的聚集 ? ―Mining Quantitative Association Rules in Large Relational Tables‖ by R. Srikant and R. Agrawal. 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 41 挖掘基于距離的關(guān)聯(lián)規(guī)則 ? 分箱的方法沒有體現(xiàn)數(shù)據(jù)間隔的語義 ? 基于距離的分割是更有“意義”的離散化方法，考慮 ： ? 區(qū)間內(nèi)密度或點的個數(shù) ? 區(qū)間內(nèi)點的“緊密程度 價格（ $ ）等寬( 寬度 $10)等深( 深度 2) 基于距離7 [ 0 , 1 0 ] [ 7 , 2 0 ] [ 7 , 7 ]20 [ 1 1 , 2 0 ] [ 2 2 , 5 0 ] [ 2 0 , 2 2 ]22 [ 2 1 , 3 0 ] [ 5 1 , 5 3 ] [ 5 0 , 5 3 ]50 [ 3 1 , 4 0 ]51 [ 4 1 , 5 0 ]53 [ 5 1 , 6 0 ]2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 42 第 6章：從大數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則挖掘 ? ? ? ? ? ? 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 43 ? 強關(guān)聯(lián)規(guī)則不一定是有趣的（ 168例 ） ? 由關(guān)聯(lián)分析到相關(guān)分析 項集 A與項集 B獨立 P(AB)=P(A)P(B) 項集 A、 B的相關(guān)性 提升度 corrAB=P(AB)/P(A)P(B)（ 169頁例 ） 卡方分析 卡方值 （ 169頁例 ） 全置信度 余弦度量 比較四種相關(guān)度量 （ 170頁例 ） 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 44 第 6章：從大數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則挖掘 ? ? ? ? ? ? 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 45 基于約束的挖掘 ? 使用約束的必要性 ? 在數(shù)據(jù)挖掘中常使用的幾種約束： ? 知識類型約束： 指定要挖掘的知識類型 如關(guān)聯(lián)規(guī)則 ? 數(shù)據(jù)約束： 指定與任務(wù)相關(guān)的數(shù)據(jù)集 ? Find product pairs sold together in Vancouver in Dec.’98. ? 維 /層次約束 :指定所用的維或概念結(jié)構(gòu)中的層 ? in relevance to region, price, brand, customer category. ? 規(guī)則約束： 指定 要挖掘的規(guī)則形式 (如規(guī)則模板 ) ? 單價 (price $10)的交易項目可能引發(fā)購買總額 (sum $200). ? 興趣度約束： 指定規(guī)則興趣度閾值或統(tǒng)計度量 ? 如 (min_support ? 3%, min_confidence ? 60%). 2020/9/15 數(shù)據(jù)挖掘：概念和技術(shù) 46 ? 假定 AllElectronics的一個銷售多維數(shù)據(jù)庫有如下關(guān)系 (176頁 ) ? Sales(customer_name,item_name,transaction_id) ? Lives(customer_name,region,city) ? Items(item_name,category， price) ? Transaction(transaction_id,day,month,year) (1) mine associations as (2)lives(C,_,”Pudong”)^sales(C,{I},{S})=sales(C,{J}{T}) (3) from sales (4)where =1999 amp。amp。=1999 amp。amp。= (5)group by C, (6)having sum(=100)amp。amp。min()=500 (7)with support threshold=1% (8)with confidence threshold=50% Lives(C,_,”Pudong”)^Sales(C,”Census_CD”,_)^Sales(C,”MS/Office”,_)=Sales(C,”MS/SQLSever”,_) [%,65%] 20