【正文】 AI中的智能搜索算法獲得問題的數(shù)值解； ? 針對(duì)無法建立精確數(shù)學(xué)模型的不確定性決策問題、半結(jié)構(gòu)化或非結(jié)構(gòu)化決策問題，需要借助 AI方法建立相應(yīng)的決策模型并獲得問題的近似解。 ? 問題 ? 知識(shí)獲取是基于知識(shí)的系統(tǒng) (KBS)的最大瓶頸 推理機(jī) 知識(shí)工程師 領(lǐng)域?qū)＜? 決策者 知識(shí)庫 問題請(qǐng)求 推理結(jié)果 決策理論與方法 智能決策理論與方法 知識(shí)發(fā)現(xiàn) — 動(dòng)機(jī) ? 問題 ? 推理規(guī)則的獲取與 KBS中知識(shí)獲取一樣難，因而基于案例推理 (CaseBased Reasoning)漸漸變成基于案例檢索 (CaseBased Retrieving)。知識(shí)如何評(píng)價(jià)？ 決策理論與方法 智能決策理論與方法 參考書推薦 決策理論與方法 智能決策理論與方法 為什么要開展數(shù)據(jù)挖掘？ ? 信息技術(shù)的廣泛應(yīng)用產(chǎn)生了大量的數(shù)據(jù)： ? 流數(shù)據(jù)（生產(chǎn)數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)、傳感數(shù)據(jù)） ? 各種 (時(shí)間 )序列數(shù)據(jù)（證券交易，基因序列） ? 對(duì)象關(guān)系數(shù)據(jù)（社交網(wǎng)絡(luò)，分子結(jié)構(gòu)） ? 管理數(shù)據(jù)（ MIS， ERP：財(cái)務(wù)、人力資源、客戶關(guān)系） ? 空間數(shù)據(jù)（ GIS、 GPS） ? 多媒體數(shù)據(jù)（視頻監(jiān)控，視頻分享） ? 文本數(shù)據(jù)（學(xué)術(shù)論文，新聞，微博，博客） ? 萬維網(wǎng)數(shù)據(jù)（內(nèi)容，結(jié)構(gòu)，使用，交易數(shù)據(jù)） ? …… 決策理論與方法 智能決策理論與方法 為什么要開展數(shù)據(jù)挖掘？ ? Big Data—— 大數(shù)據(jù)時(shí)代 ? 第一，數(shù)據(jù)體量（ Volume）巨大 。 ? 第二，數(shù)據(jù)類型繁多（ Variety） 。 ? 第三，價(jià)值（ Value）密度低。 ? 第四，處理速度（ Velocity）快。 We are drowning in data, but starving for knowledge! 決策理論與方法 智能決策理論與方法 Wednesday, January 15, 2023 電子商務(wù)新進(jìn)展： 數(shù)據(jù)挖掘 KDD DM ? 知識(shí)發(fā)現(xiàn) (Knowledge Discovery in Databases ,KDD) 是指從大量數(shù)據(jù)中提取有用的 (useful)、新穎的 (novel)、有效的 (valid)并最終能被人理解 (understandable)的模式(patterns)的處理過程 (process)。 決策理論與方法 智能決策理論與方法 KDD過程 理解、定義用戶的目標(biāo)和KDD運(yùn)行的環(huán)境。 決策理論與方法 智能決策理論與方法 KDD過程 （ 1）缺失值處理 （ 2）剔除噪聲或異常數(shù)據(jù) 決策理論與方法 智能決策理論與方法 KDD過程 （ 1）維數(shù)約簡 (特征選擇與抽取，數(shù)據(jù)采樣 ) （ 2）屬性轉(zhuǎn)換 (離散化和泛化 ) （ 3）數(shù)據(jù)編碼 決策理論與方法 智能決策理論與方法 KDD過程 (1)確定數(shù)據(jù)挖掘類型，如分類、聚類、回歸； (2) 選擇特定的方法； (3) 執(zhí)行數(shù)據(jù)挖掘算法。 挑戰(zhàn) : 動(dòng)態(tài)與增量挖掘問題。在樣本數(shù)據(jù)集中，空值在所有非主碼屬性中都可能出現(xiàn)。 決策理論與方法 智能決策理論與方法 數(shù)據(jù)預(yù)處理 — 空值估算 ? 空值處理的常用方法 ： ? 從訓(xùn)練集中移去含未知值的實(shí)例； ? 用某個(gè)最可能的值進(jìn)行替換； ? 基于樣本中其它屬性的取值和分類信息，構(gòu)造規(guī)則來預(yù)測(cè)丟失的數(shù)據(jù)，并用預(yù)測(cè)結(jié)果“填補(bǔ)”丟失值； ? 應(yīng)用貝葉斯公式確定未知值的概率分布，選擇一最可能的值填補(bǔ)空值或根據(jù)概率分布用不同值填補(bǔ)空值形成多個(gè)對(duì)象； ? 將含有未知值的一個(gè)給定樣本數(shù)據(jù)集轉(zhuǎn)換成一個(gè)新的、可能不相容的但每個(gè)屬性值均已知的數(shù)據(jù)集，方法是將某個(gè)屬性的未知值用所有該屬性的可能值替換形成多個(gè)數(shù)據(jù)集。假設(shè)對(duì)于任意有 ， R是實(shí)數(shù)集，則 為連續(xù)屬性。 3 ki ki1 2 1 …… iik eci ?ikic 1?ic2ic1 ii cs 0? ??? DCUA ?, },{ 21 nxxxU ??Cci ? R),[ ??iii esV c iPiV },{ 10ikiii icccP ?? iikiiii eccccs i ?????? ?210ikik決策理論與方法 智能決策理論與方法 數(shù)據(jù)預(yù)處理 — 連續(xù)屬性離散化 對(duì)于需要離散化的連續(xù)屬性集 ，其分割點(diǎn)集合記為 將 ci屬性的連續(xù)取值映射到離散空間，即對(duì)于任意 若其屬性 ci 的取值在區(qū)間 內(nèi)，則將屬性值重新標(biāo)記為 j。因此離散化問題本質(zhì)上可歸結(jié)為利用選取的分割點(diǎn)對(duì)屬性的值域空間進(jìn)行劃分的問題。應(yīng)用不同的準(zhǔn)則可將現(xiàn)有的離散化方法分為局部與全局方法 (論域空間 )、靜態(tài)與動(dòng)態(tài)方法 (屬性空間 )和有導(dǎo)師與無導(dǎo)師方法 (是否依賴決策屬性 )。 Nki ?k決策理論與方法 智能決策理論與方法 數(shù)據(jù)預(yù)處理 — 連續(xù)屬性離散化 假設(shè)某個(gè)屬性的最大屬性值為 xmax，最小屬性值為 xmin，用戶給定的分割點(diǎn)參數(shù)為 k，則分割點(diǎn)間隔為 δ=(xmaxxmin)/k， 所得到的屬性分割點(diǎn)為 xmin+i?， i=1,2,…, k。假設(shè)某個(gè)屬性的最大屬性值為 xmax ，最小屬性值為 xmin ，用戶給定的分割點(diǎn)參數(shù)為 k，樣本集中的對(duì)象個(gè)數(shù)為 n，則需要將樣本集中的對(duì)象按該屬性的取值從小到大排列，然后按對(duì)象數(shù)平均劃分為 k段即得到分割點(diǎn)集，每兩個(gè)相鄰分割點(diǎn)之間的對(duì)象數(shù)均為 n/k。 對(duì)于任意分割點(diǎn) ，均可將 分成 2個(gè)區(qū)間 和 ，兩區(qū)間的獨(dú)立程度為： 其中： r是決策類數(shù)目 nij是在第 l區(qū)間中屬于第 j決策類的對(duì)象數(shù) )0( iiij kjPc ???),[ ii es ),[ ijic csL ? ),( iijc ecR ? ? ?? ??? 21 122 )(lrj ljljljEEn?決策理論與方法 智能決策理論與方法 數(shù)據(jù)預(yù)處理 — 連續(xù)屬性離散化 若 ，則取 基于統(tǒng)計(jì)試驗(yàn)的離散化方法是將 值較大的分割點(diǎn)作為有效分割點(diǎn)。 主要方法：歸納、泛化。 動(dòng)物 哺乳類 鳥類 企鵝 食肉類 蹄類 飛禽類 走禽類 虎 印度豹 長頸鹿 斑馬 信天翁 鷹 駝鳥 動(dòng)物世界概念樹 第 1層 第 2層 第 3層 第 4層 決策理論與方法 智能決策理論與方法 KDD Goals Methods ? 關(guān)聯(lián)規(guī)則 (Association Rules)：關(guān)聯(lián)規(guī)則的形式為A→B ， A為前件， B為后件。 典型方法： Apriori算法。 ?例如， 若 {beer, diaper}是不頻繁的 , 那么 {beer, diaper, nuts}一定是不頻繁的 . 決策理論與方法 智能決策理論與方法 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) (Apriori算法 ) ? Procedure ?Find the frequent itemsets: the sets of items that have minimum support (Apriori) ?A subset of a frequent itemset must also be a frequent itemset, ., if {A ? B} is a frequent itemset, both {A} and {B} should be a frequent itemset ?Iteratively find frequent itemsets with cardinality from 1 to k (kitemset) ?Use the frequent itemsets to generate association rules. 決策理論與方法 智能決策理論與方法 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) (Apriori算法 ) T ID Ite m s100 1 3 4200 2 3 5300 1 2 3 5400 2 5Database D ite m s e t s u p .{ 1 } 2{ 2 } 3{ 3 } 3{ 4 } 1{ 5 } 3i te m s e t s u p .{ 1 } 2{ 2 } 3{ 3 } 3{ 5 } 3Scan D C1 L1 item set{1 2}{1 3}{1 5}{2 3}{2 5}{3 5}ite m s et s up{ 1 2} 1{ 1 3} 2{ 1 5} 1