【正文】 amp。在小的抽樣集上找到局部頻繁項(xiàng)集，然后在全部數(shù)據(jù)集找頻繁項(xiàng)集。 TDB|c。第六章 在大型數(shù)據(jù)庫(kù)中 挖掘關(guān)聯(lián)規(guī)則 報(bào)告人：張榮祖 2020/11/28 基于約束的挖掘 ? 使用約束的必要性 ? 在數(shù)據(jù)挖掘中常使用的幾種約束： ? 知識(shí)類(lèi)型約束： 指定要挖掘的知識(shí)類(lèi)型 如關(guān)聯(lián)規(guī)則 ? 數(shù)據(jù)約束： 指定與任務(wù)相關(guān)的數(shù)據(jù)集 ? Find product pairs sold together in Vancouver in Dec.’98. ? 維 /層次約束 :指定所用的維或概念結(jié)構(gòu)中的層 ? in relevance to region, price, brand, customer category. ? 規(guī)則約束： 指定 要挖掘的規(guī)則形式 (如規(guī)則模板 ) ? 單價(jià) (price $10)的交易項(xiàng)目可能引發(fā)購(gòu)買(mǎi)總額 (sum $200). ? 興趣度約束： 指定規(guī)則興趣度閾值或統(tǒng)計(jì)度量 ? 如 (min_support ? 3%, min_confidence ? 60%). ? 假定 AllElectronics的一個(gè)銷(xiāo)售多維數(shù)據(jù)庫(kù)有如下關(guān)系： ? Sales(customer_name,item_name,transaction_id) ? Lives(customer_name,region,city) ? Items(item_name,category， price) ? Transaction(transaction_id,day,month,year) (1) mine associations as (2)lives(C,_,”P(pán)udong”)^sales(C,{I},{S})=sales(C,{J}{T}) (3) from sales (4)where =1999 amp。 TDB|b。 : 在添加一個(gè)新的候選集之前，先估計(jì)一下是不是他的所有子集都是頻繁的。=1999 amp。 ? 適宜使用數(shù)據(jù)立方體 ? N維立方體的每個(gè)單元 對(duì)應(yīng)一個(gè)維詞集合 ? 使用數(shù)據(jù)立方體速度更快 (ine) (age) () (buys) (age, ine) (age,buys) (ine,buys) (age,ine,buys) 帶數(shù)量的關(guān)聯(lián)規(guī)則 age(X,”3034”) ? ine(X,”24K 48K”) ? buys(X,”high resolution TV”) ? 動(dòng)態(tài) 離散化數(shù)值屬性 使?jié)M足某種挖掘標(biāo)準(zhǔn)，如最大化挖掘規(guī)則的置信度緊湊性 . ? 2維數(shù)量關(guān)聯(lián)規(guī)則： Aquan1 ? Aquan2 ? Acat ? 用 2維表格把“鄰近”的 關(guān)聯(lián)規(guī)則組合起來(lái) ? 例子 ARCS (關(guān)聯(lián)規(guī)則聚集系統(tǒng) ) ARCS 流程 1. 分箱 2. 查找頻繁維詞 集合 3. 關(guān)聯(lián)規(guī)則聚類(lèi) 4. 優(yōu)化 ARCS的局限性 ? 數(shù)值屬性只能出現(xiàn)在規(guī)則的左側(cè) ? 左側(cè)只能有兩個(gè)屬性 (2維 ) ? ARCS 的改進(jìn) ? 不用基于柵格的方法 ? 等深分箱 ? 基于 局部完整性 測(cè)度的聚集 ? “ Mining Quantitative Association Rules in Large Relational Tables‖ by R. Srikant and R. Agrawal. 挖掘基于距離的關(guān)聯(lián)規(guī)則 ? 分箱的方法沒(méi)有體現(xiàn)數(shù)據(jù)間隔的語(yǔ)義 ? 基于距離的分割是更有“意義”的離散化方法，考慮： ? 區(qū)間內(nèi)密度或點(diǎn)的個(gè)數(shù) ? 區(qū)間內(nèi)點(diǎn)的“緊密程度 價(jià)格（ $ ）等寬( 寬度 $10)等深( 深度 2) 基于距離7 [ 0 , 1 0 ] [ 7 , 2 0 ] [ 7 , 7 ]20 [ 1 1 , 2 0 ] [ 2 2 , 5 0 ] [ 2 0 , 2 2 ]22 [ 2 1 , 3 0 ] [ 5 1 , 5 3 ] [ 5 0 , 5 3 ]50 [ 3 1 , 4 0 ]51 [ 4 1 , 5 0 ]53 [ 5 1 , 6 0 ]第 6章：從大數(shù)據(jù)庫(kù)中挖掘關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則挖掘 ? ? ? 聯(lián)規(guī)則 ? ? ? ? 強(qiáng)關(guān)聯(lián)規(guī)則不一定是有趣的（ 168頁(yè)例） ? 由關(guān)聯(lián)分析到相關(guān)分析 項(xiàng)集 A與項(xiàng)集 B獨(dú)立 P(AB)=P(A)P(B) 項(xiàng)集 A、 B的相關(guān)性 corrAB=P(AB)/P(A)P(B) 第 6章：從大數(shù)據(jù)庫(kù)中挖掘關(guān)聯(lián)規(guī)則 ? 關(guān)聯(lián)規(guī)則挖掘 ? ? ? 聯(lián)規(guī)則 ? ? ? 基于約束的挖掘 ? 使用約束的必要性 ? 在數(shù)據(jù)挖掘中常使用的幾種約束： ? 知識(shí)類(lèi)型約束： 指定要挖掘的知識(shí)類(lèi)型 如關(guān)聯(lián)規(guī)則 ? 數(shù)據(jù)約束： 指定與任務(wù)相關(guān)的數(shù)據(jù)集 ? Find product pairs sold together in Vancouver in Dec.’98. ? 維 /層次約束 :指定所用的維或概念結(jié)構(gòu)中的層 ? in relevance to region, price, brand, customer category. ? 規(guī)則約束： 指定 要挖掘的規(guī)則形式 (如規(guī)則模板 ) ? 單價(jià) (price $10)的交易項(xiàng)目可能引發(fā)購(gòu)買(mǎi)總額 (sum $200). ? 興趣度約束： 指定規(guī)則興趣度閾值或統(tǒng)計(jì)度量 ? 如 (min_support ? 3%, min_confidence ? 60%). ? 假定 AllElectronics的一個(gè)銷(xiāo)售多維數(shù)據(jù)庫(kù)有如下關(guān)系(176頁(yè) ) ? Sales(customer_name,item_name,transaction_id) ? Lives(customer_name,region,city) ? Items(item_name,category， price) ? Transaction(transaction_id,day,month,year) (1) mine associations as (2)lives(C,_,”P(pán)udong”)^sales(C,{I},{S})=sales(C,{J}{T}) (3) from sales (4)where =1999 amp。(157頁(yè)圖 56) : 使用小的支持度 +完整性驗(yàn)證方法。 TDB|d。amp。 TDB|e TD B { a e c df ,a b,a e c f ,a e be df ,a e bd } F r e qu e nt ite ms: a ,e ,b,c ,d,f f Cond i t i ona l da t ab as e TD B |B { ae cd ,a ed ,a dbc d} f r eq ue nt i t em s : a, e, c TD B |d TD B |c TD B |e TD B |b 頻繁集的生長(zhǎng)過(guò)程 ?