【正文】 絡(luò)（ deep neural work, 2023年， Hinton， 《 Science》 ）：以受限 Boltzmann機(jī)為核心的多層神經(jīng)網(wǎng)絡(luò)，一種逐步降維的思想，每一層的輸出都是對(duì)輸入數(shù)據(jù)的一種更大粒度的特征描述（類似泛化），可用于降維、分類、可視化等。 ? 動(dòng)態(tài)之五 ：亞線性計(jì)算方法 /近似計(jì)算方法 ? 借助樣本特征的內(nèi)在邏輯，設(shè)計(jì)待測(cè)指標(biāo)的近似計(jì)算方法，如流數(shù)據(jù)二階矩估計(jì)的 AMS算法、復(fù)雜網(wǎng)絡(luò)的最短路徑近似計(jì)算方法等。 大數(shù)據(jù)分析方法發(fā)展動(dòng)態(tài) ? 動(dòng)態(tài)之三 ：檢驗(yàn) /揭示特征變量間的關(guān)系 ? 典型代表是最大信息系數(shù)（ the maximal information coefficient (MIC)， 2023年， David N. Reshef， 《 Science》 ）：借助于最大信息系數(shù)發(fā)現(xiàn)兩個(gè)變量間的關(guān)聯(lián)關(guān)系。 x1 x2 H: w?x+b=0 H1: w?x+b=1 H+1: w?x+b=1 支持向量機(jī) ? 線性不可分 ：可引入 核函數(shù) 將線性不可分問題轉(zhuǎn)換為高維空間的線性可分問題，常見核函數(shù)有： d次多項(xiàng)式函數(shù) 高斯徑向基函數(shù) 神經(jīng)網(wǎng)絡(luò)核函數(shù) dixxxxK )1(),( 21 ??? )/exp(),( 2221 ?ixxxxK ??? ))(ta nh (),(2121 kxxkxxK i ???大數(shù)據(jù)分析方法發(fā)展動(dòng)態(tài) ? 方法分類 ? 統(tǒng)計(jì)類 ：統(tǒng)計(jì)模型構(gòu)建，參數(shù)估計(jì)，統(tǒng)計(jì)檢驗(yàn)。 支持向量機(jī) ? margin與支持向量 ： 設(shè)樣本集為 U={x1,x2,...,xl}(m維空間中的 l個(gè)向量 )，類別空間 Y={+1,1}。 (2)如果比值 l/h較小 (小樣本集 )，則小的經(jīng)驗(yàn)風(fēng)險(xiǎn)并不能保證有小的期望風(fēng)險(xiǎn)值，必須同時(shí)考慮 經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍 (稱之為 VC維置信度 )。常使用經(jīng)驗(yàn)風(fēng)險(xiǎn)代替，且當(dāng) l→∞ 時(shí)兩者相等。o39。 創(chuàng)建一個(gè) BP網(wǎng)絡(luò)，最小輸入為 0，最大輸入為 10，兩隱含層，第一（ 5個(gè)神經(jīng)元）、二層（ 1個(gè)神經(jīng)元）神經(jīng)元函數(shù)分別為 tansig和 purelin函數(shù)。 ? 投射：將 第 j個(gè)神經(jīng)元的值經(jīng)過變換 f(j)，作為下一層網(wǎng)絡(luò) (本例是輸出層 )的輸入， 一般 f(x)=1/(1+ex)。 ? 神經(jīng)網(wǎng)絡(luò)分為 前向型、反饋型、隨機(jī)型 以及 自組織型 。 )log()log(),( NP NNP NNP PNP PNPI ???????決策樹： ID3學(xué)習(xí)算法 以 A為測(cè)試屬性的 期望信息熵 為 以 A為根節(jié)點(diǎn)的 信息增益 是： Gain(A)=I(P,N)E(A) ? ID3的策略就是選擇信息增益最大的屬性作為測(cè)試屬性。 所謂決策樹是一個(gè)類似流程圖的樹結(jié)構(gòu)，其中樹的內(nèi)結(jié)點(diǎn)對(duì)應(yīng)屬性或?qū)傩约?，每個(gè)分枝表示檢驗(yàn)結(jié)果 (屬性值 )，樹枝上的葉結(jié)點(diǎn)代表所關(guān)心的因變量的取值 (類標(biāo)簽 )，最頂端的結(jié)點(diǎn)稱為根結(jié)點(diǎn)。 ? 設(shè)信息系統(tǒng) I=U,C∪ D,V,f， C中所有 D不可省略的元素構(gòu)成的集合稱為 C的 D核，記作 CoreD(C)。 ? 什么是知識(shí)約簡(jiǎn)？ ? 將知識(shí)庫中某些不必要的等價(jià)關(guān)系（知識(shí)）移去的過程。 ? 如果知識(shí) D的部分初等范疇能用知識(shí) C的某些初等范疇來定義，稱知識(shí) D部分依賴于知識(shí) C。 ? F的近似質(zhì)量 ：近似質(zhì)量給出了能正確分類的百分?jǐn)?shù)。 ? 正域與負(fù)域 XRXPO S R ?)(XRUXNeg R ??)(粗糙集：粗糙集與近似 論域 U 粗糙集 X 粗糙集粗糙集：經(jīng)典粗糙集模型 ? R1={T1}： U/R1={{p2, p3, p5}， {p1, p4, p6}}； ? R2={T2,T1}： U/R2={{p1, p4, p6}, {p2, p5}, {p3}}； ? R={T1, T2, T3}： U/R=({p1}, {p3}, {p6}, {p2, p5},{p4}}。 ? IND(B)是等價(jià)關(guān)系， IND(B)的所有等價(jià)類的集合記為 U/B（稱為 知識(shí) B），含有元素 x的等價(jià)類記為 B(x)或 [x]B，同一等價(jià)類中的元素是不可分辨的，稱 IND(B)等價(jià)類為 初等集（范疇） ，它是知識(shí)庫的基本結(jié)構(gòu)單元即 概念 。 ? 概念 ：具有相同特征值的一群對(duì)象稱為一個(gè)概念（一個(gè)等價(jià)類就是一個(gè)概念） 粗糙集：預(yù)備知識(shí) ? pi T1 pj iff v(pi, T1)=v(pj, T1)，則T1是 U上的一個(gè)等價(jià)關(guān)系（類似地可以定義 T2, T3, E） ? X1=[p1]=[p4]=[p6]={p1, p4, p6}為 U關(guān)于 T1的一個(gè)等價(jià)類 ? X2=[p2]=[p3]=[p5]={p2, p3, p5}為 U關(guān)于 T1的另一個(gè)等價(jià)類（ T1有多少種取值就有多少個(gè)等價(jià)類 ） ? 顯然 X1∩X2=φ。 11 1 111jNi ij iNN N j N NS S SS S SSS S S???????????聚類：主要方法 ? 層次聚類方法 ? kmeans ? 概率混合模型 ? 圖模型與譜聚類 ? 組合搜索技術(shù) ? 模糊聚類 ? 基于神經(jīng)網(wǎng)絡(luò) ? 基于核的方法 Kmeans算法：基于幾何中心 ? Given k, the kmeans algorithm is implemented in four steps: 1. Partition objects into k nonempty subsets 2. Compute seed points as the centroids of the clusters of the current partitioning (the centroid is the center, ., mean point, of the cluster) 3. Assign each object to the cluster with the nearest seed point 4. Go back to Step 2, stop when the assignment does not change kixGca rdxmil Gx lmimi ,2,1,)(1)()()1( ??? ??? Kmeans算法示例 K=2 Arbitrarily partition objects into k groups Update the cluster centroids Update the cluster centroids Reassign objects Loop if needed The initial data set ? Partition objects into k nonempty subsets ? Repeat ? Compute centroid (., mean point) for each partition ? Assign each object to the cluster of its nearest centroid ? Until no change 不確定性決策理論與方法 不確定性決策概述 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡(luò) 支持向量機(jī) 連接分析 (LinkAnalysis) ? 事物之間是普遍聯(lián)系的 ? 網(wǎng)站與網(wǎng)站之間 ? 網(wǎng)頁與網(wǎng)頁之間 ? 社交網(wǎng)絡(luò)中的結(jié)點(diǎn)之間 ? ...... ? 需要回答的一個(gè)問題：這些連接點(diǎn)誰重要？ 連接分析 — PageRank算法 ? Google采用的基本算法 (Lary Page, 拉里 .佩奇，google創(chuàng)始人 ),節(jié)點(diǎn)代表頁面 ,有向邊代表超鏈接 ? 假設(shè)： ? 沖浪者隨機(jī)選擇起始頁面 ? 在以后的每一步，沖浪者以概率 d直接進(jìn)入目標(biāo)頁面或以1d的概率通過其它指向目標(biāo)頁面的超鏈接進(jìn)入目標(biāo)頁面。 c os || || || ||TijijijxxSxx??? ?xi xj O ? 1( ) ( )Tij i j i jD x x S x x?? ? ?聚類：相似性度量 ? 相似性度量方法 ? 連續(xù)型 (包括序數(shù)型 )特征 ④ Pearson相關(guān)系數(shù)： Dij=1rij (不能度量?jī)蓚€(gè)對(duì)象的差異幅度 )，例如： x1=(1,1,1)。特征類型包括定量與定性、連續(xù)與離散、名詞與序數(shù)等。 ? 輸入： X={x1,...,xj,...,xN}?！白匀粻顟B(tài)”隱藏了數(shù)據(jù)的結(jié)構(gòu)，而不是為未觀測(cè)的樣本提供一個(gè)精確刻畫 (描述而非預(yù)測(cè) )。 標(biāo)簽化 Taxonomy of Data Mining Methods ? 有監(jiān)督學(xué)習(xí) ? 輸入： X={x1,...,xj,...,xN}。 ? 數(shù)據(jù)挖掘 (Data Mining， DM) 是 KDD的核心階段 , 通過實(shí)施相關(guān)算法獲得期望的模式。 不確定性決策準(zhǔn)則 ? 不確定性決策問題舉例 【 Milnor,1954】 a1 a2 a3 a4 θ1 2 3 4 3 θ2 2 3 0 1 θ3 4 3 4 4 θ4 3 3 4 4 不確定性決策準(zhǔn)則 ? 不確定性決策問題舉例 【 Milnor,1954】 a1 a2 a3 a4 最小損失 后悔值 a1 a2 a3 a4 θ1 2 3 4 3 2 0 1 2 1 θ2 2 3 0 1 0 2 3 0 1 θ3 4 3 4 4 3 1 0 1 1 θ4 3 3 4 4 3 0 0 1 1 最大損失 （悲觀） 4 3 4 4 a2 最大后悔值 pi 2 3 2 1 最小損失 （樂觀） 2 3 0 1 a3 a4 樂觀系數(shù) 42? 3 44? 43? ?， a2； ?， a3 等 概 率 a1 不確定性決策準(zhǔn)則 公理 悲觀準(zhǔn)則 樂觀系數(shù) 后悔值 等概率 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 智能決策理論與方法 — 形成背景 ? 人類面臨越來越復(fù)雜的決策任務(wù)和決策環(huán)境 ： ? 決策問題所涉及的變量規(guī)模越來越大； ? 決策所依賴的信息具有不完備性、模糊性、不確定性等特點(diǎn)，使得決策問題難以準(zhǔn)確地量化表示； ? 某些決策問題及其目標(biāo)可能是模糊的、不確定的，使得決策者對(duì)自己的偏好難以明確，隨著決策分析的深入，對(duì)決策問題的認(rèn)知加深，自己原有的偏好 /傾向得到不斷地修正，使得決策過程出現(xiàn)不斷調(diào)整的情況。 ? 解決問題的主要理論方法 ：人工智能與不確定性理論 不確定性決策準(zhǔn)則 ? 在決策者無法獲取狀態(tài)的概率時(shí)，貝葉斯決策準(zhǔn)則就難以湊效。 ? 不確定性 ： 不確定性來自人類的主觀認(rèn)識(shí)與客觀實(shí)際之間存在的差異。 不確定性決策準(zhǔn)則 ? 后悔值極小化極大法 【 Savage,1951】 ? 在狀態(tài) θj下考察采取行動(dòng) ai的損失 lji或 效用 uji和，并將其與在此狀態(tài)下采取不同行動(dòng)時(shí)的最小損失 sj或 最大效用 uj進(jìn)行比較，其差值的大小定義為后悔值 rji，從而形成一個(gè)后悔值表； ? 針對(duì)后悔值表，應(yīng)用悲觀準(zhǔn)則求解：找出不同狀態(tài)下采取行動(dòng) ai的最大后悔值 pi，然后再使所有行動(dòng)的最大后悔值極小，其所對(duì)應(yīng)的行動(dòng)記為決策結(jié)果。 ? 問題 ? 知識(shí)獲取是基于知識(shí)的系統(tǒng) (KBS)的最大瓶頸 推理機(jī) 知識(shí)工程師 領(lǐng)域?qū)＜? 決策者 知識(shí)庫 問題請(qǐng)求 推理結(jié)果 知識(shí)發(fā)現(xiàn) — 動(dòng)機(jī) ? 問題 ? 推理規(guī)則的獲取與 KBS中知識(shí)獲取一樣難，因而基于案例推理 (CaseBased Reasoning)漸漸變成基于案例檢索 (CaseBased Retrieving)。 挑戰(zhàn) : 動(dòng)態(tài)與增量挖掘問題。 W是可調(diào)整的參數(shù)向量。 NBASupp ort || ??||||ABACon fide nce ??* 決策理論與方法 智能決策理論與方法 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) (Apriori算法 ) ? Apriori算法由 Agrawal Srikant在 1994年提出 ? 主要思想 : ? 一個(gè)頻繁項(xiàng)集（支持度超過給定值的項(xiàng)集）的子集一定是頻繁的 ?例如， 若 {beer, diaper