【正文】 一般通過測量兩個變量間的某種依賴關系來實現(xiàn)。 ? 搜索類 ：管理目標已知時，可采用搜索策略。若樣本集是線性可分的，則存在超平面 H： wx+b=0使得 (1)當 wxi+b?1時， yi=+1 (2)當 wxi+b?1時， yi=1 其中， w為權值向量， b為偏離值。在樣本點數(shù)目 l一定時，分類器越復雜，即 VC維越大，則置信范圍越大，導致實際風險與經(jīng)驗風險的差別越大。 ? 結構風險最小化原則 Vapnik在 1971年證明經(jīng)驗風險最小值未必收斂于期望風險最小值，即 ERM不成立。使用 SVM方法，人們可以在很高維的空間里構造好的分類規(guī)則。 ? plot(P,T,P,Y,39。 ? 上述過程一直持續(xù)到所有的輸出單元得到輸出為止，最后一層的輸出就是網(wǎng)絡的輸出。 ? 基本神經(jīng)元及感知機模型 ： 神經(jīng)網(wǎng)絡 wj1 wji wjn yj f(?iwijxi?j) x1 xi xn 神經(jīng)網(wǎng)絡 ? 神經(jīng)元函數(shù) f的選擇 線性函數(shù)： f(x)=?x 帶限的線性函數(shù)： ?為最大輸出。 ?? ???kjjjjj NPINPNPAE1),()(決策樹： ? 信息增益率 ： ? 其中： 目前一種比較流行的決策樹算法 就是以信息增益率作為測試屬性的選擇條件。從根結點到每個葉結點都有唯一的一條路徑，這條路徑就是一條決策“規(guī)則”?；趯傩砸蕾嚩鹊膶傩约s簡算法就是將 γp(D|B)作為尋找最小屬性約簡的啟發(fā)式信息。 ? C的 D約簡是不含任何冗余知識且與 C具有相同分類能力的子集（用知識 C將對象劃分到知識 D的初等范疇中的能力）。 DUCU /~/ ? )( ))(()( UCard DPOSCardDk CC ?? ?粗糙集：知識依賴 ? R1={T1}： U/R1={{p2, p3, p5}， {p1, p4, p6}}； ? R2={T2,T1}： U/R2={{p1, p4, p6}, {p2, p5}, {p3}}； ? R3={T1, T2, T3}： U/R3=({p1}, {p3}, {p6}, {p2, p5},{p4}}。如果將 R看作決策表中的條件屬性集， F看成決策屬性集，近似質(zhì)量反映了兩者之間的依賴關系。 粗糙集：經(jīng)典粗糙集模型 U T1 T2 T3 E p1 N Y Normal Y p2 Y N Normal Y p3 Y Y High Y p4 N Y Low N p5 Y N Normal N p6 N Y High Y ? 精度 ： X的 R精度反映了我們對于了解集合 X的知識的完全程度。 粗糙集：信息系統(tǒng)與知識 ? 對于 U的任意子集 X，若 X恰能由知識 R的若干個初等集的并構成，則稱 X為 R精確集，否則為 R粗糙集 。 粗糙集：預備知識 ? 粗糙集理論由 Pawlak提出 [1982,1991]。 ? 一個頁面的重要性取決于指向該頁面的頁面的重要性 隨機選擇的起始頁面 d= 連接分析 — PageRank算法 ? 則頁面 p的重要性為： xp(k+1)=(1d)/n+d?q,p?P,q→p (xq(k)/Nq) ? P為站點的頁面集， n為所有頁面數(shù)， Nq為頁面 q的出度， xq(k)為頁面 q的重要性。 x4=(2,2,3) ⑤ 點對稱距離 (不能度量兩個對象的差異幅度 )： 12211( ) ( )( ) ( )dil i jl jlij ddil i jl jllx x x xrx x x x???????????1 , .. .,|| ( ) ( ) ||m in|| ( ) || || ( ) ||i r j rir jNi r j rjix x x xDx x x x? ?? ? ??? ? ?xi xj xr 聚類：相似性度量 ? 相似性度量方法 ? 二元型特征 (特征取值僅為 0,1) 設每個對象都可用 d個特征表示，如果對象有此特征則標記為 1，否則標記為 0。 聚類：相似性度量 ? 相似性度量方法 ? 連續(xù)型 (包括序數(shù)型 )特征 ① Minkowski(閔氏 )距離： 值較大和波動較大的特征主導著相似性。 聚類 ? 聚類的定義 ? 硬聚類 (基于劃分的聚類 )：試圖將 X分割成 K個簇C={C1,...,Ck,...,CK}(K≤N)。 不確定性決策理論與方法 不確定性決策概述 關聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡 支持向量機 關聯(lián)規(guī)則發(fā)現(xiàn) ? 關聯(lián)規(guī)則 (Association Rules)：關聯(lián)規(guī)則的形式為A→B ， A為前件， B為后件。 ? 輸出： Y={C1,...,Ck,...,CK}。 KDD過程 （ 1）選取可用的數(shù)據(jù)； （ 2）定義附加的、必須的數(shù)據(jù)，如領域知識； （ 3）數(shù)據(jù)集成為一個數(shù)據(jù)集，供 KDD使用。 智能決策理論與方法 — AI的應用模式 ? 智能決策方法 是應用人工智能 (Artificial Intelligence, AI)相關理論方法，融合傳統(tǒng)的決策數(shù)學模型和方法而產(chǎn)生的具有智能化推理和求解的決策方法，其典型特征是能夠在不確定、不完備、模糊的信息環(huán)境下，通過應用符號推理、定性推理等方法，對復雜決策問題進行建模、推理和求解。 ? 悲觀準則或極小化極大準則 【 Wald,1950】 ? 考察采取行動 ai， i=1,2,…,m 時可能出現(xiàn)的最壞后果，即最大損失 si或 最小效用 ui； ? 選擇行動 ak，使得 sk(uk)在所有行動中最小 (最大 )。決策理論與方法 —— 不確定性決策理論與方法 合肥工業(yè)大學管理學院 2023年 3月 4日 不確定性決策理論與方法 不確定性決策概述 關聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡 支持向量機 不確定性決策 ? 不確定性決策 ： 指難以獲得各種狀態(tài)發(fā)生的概率，甚至對未來狀態(tài)都難以把握的決策問題。 ? 樂觀準則 ? 考察采取行動 ai， i=1,2,…,m 時可能出現(xiàn)的最好后果，即最小損失 oi或 最大效用 vi； ? 選擇行動 ak，使得 ok(vk)在所有行動中最小 (最大 )。 AI應用于決策科學主要有兩種模式 ： ? 針對可建立精確數(shù)學模型的決策問題，由于問題的復雜性，如組合爆炸、參數(shù)過多等而無法獲得問題的解析解，需要借助 AI中的智能搜索算法獲得問題的數(shù)值解； ? 針對無法建立精確數(shù)學模型的不確定性決策問題、半結構化或非結構化決策問題，需要借助 AI方法建立相應的決策模型并獲得問題的近似解。 KDD過程 （ 1）缺失值處理 （ 2）剔除噪聲或異常數(shù)據(jù) KDD過程 （ 1）維數(shù)約簡 (特征選擇與抽取，數(shù)據(jù)采樣 ) （ 2）屬性轉換 (離散化和泛化 ) （ 3）數(shù)據(jù)編碼 KDD過程 (1)確定數(shù)據(jù)挖掘類型，如分類、聚類、回歸； (2) 選擇特定的方法； (3) 執(zhí)行數(shù)據(jù)挖掘算法。 Ck表示類標簽。 (Day=Friday) and (Product= Diaper) → (Product=Beer) 為一典型關聯(lián)規(guī)則 A為滿足前件的對象集， B為滿足后件的對象， N為全部對象集。滿足① Ci≠?， i?{1,...,k}；②∪ i?{1,...,k}Ci=X； ③ Ci∩Cj=?， i, j∈ {1,...,k}, i≠j。 n=1時，稱為絕對距離 (超矩形聚類 )。對于任意兩個對象 xi, xj， n1 n00、n n01分別表示兩者都有、兩者都無、 xi有 xj無、 xi無 xj有的特征數(shù)，則： 或 根據(jù)不同的情境， w可以取 1(Jaccard), 2(Sokal), 1/2(Gower)。 ? 這樣就可以計算出所有頁面的重要性。粗糙集理論反映了人們以不完全信息或知識去處理一些不可分辨現(xiàn)象的能力，或依據(jù)觀察、度量到某些不精確的結果而進行分類數(shù)據(jù)的能力。 ? 每個粗糙集 X都可用兩個與之相關的精確集近似表示即 X的 上近似 和 下近似 ，他們是粗糙集理論的兩個最基本運算。αR(X)=1為 精確集， 0≤αR(X)1為粗糙集。 粗糙集：數(shù)字特征 ? 知識 R={T1, T2, T3}： U/R=({p1}, {p3}, {p6}, {p2, p5},{p4}}。 ? F={E}： U/F={{p1, p2, p3, p6}, {p4, p5}} ? X1={p1, p2, p3, p6}是 R3粗糙集， X1的 R3下近似是 {p1, p3, p6}，R3上近似是 {p1, p2, p3, p5, p6} ； ? X2={p4, p5}也是 R3粗糙集， X2的 R3下近似是 {p4}， X2的 R3上近似是 {p2, p4, p5} 。 粗糙集：知識約簡 ? 在確定某個決策目標時，不同屬性的重要性是不同的，在一般分析中常用事先假設的權重來描述。 /( ( ) )()()X U DBC ard B XkDC ard U? ???粗糙集：知識約簡算法 ? 為什么要約簡屬性值？ ? 在判斷某個對象屬于某類時，某個屬性的取值不同，對分類產(chǎn)生的影響也不相同。 ? 當經(jīng)過一批訓練實例集的訓練產(chǎn)生一顆決策樹，那么該決策樹就可以根據(jù)屬性的取值對一個未知實例集進行分類。 ? 生成的決策樹往往過大，不利于決策時的應用，需要對其剪枝 (Pruning)，請參閱相關文獻。 閾值型函數(shù)： sigmoid函數(shù)： ????????????????xxxxxf ||)(???????????xxxf11)(xxx eexforexf ??? ????? 11)(11)(神經(jīng)網(wǎng)絡 ? 感知機學習算法： (選取 f為閾值函數(shù)，學習權值向量 w) (1)初始化：將權值向量和閾值賦予隨機量， t=0 (2)連接權的修正：設訓練樣本的輸入為 x1,..., xi,...,xn，期望輸出為 yj(=177。 ? 因此，神經(jīng)網(wǎng)絡是一個 黑匣子 。o39。 支持向量機 ? 經(jīng)驗風險最小化與結構風險最小化原則 ? 經(jīng)驗風險最小化原則 考慮分類問題。因此提出了 結構風險最小化原則 (Structural Risk Minimization, SRM)， 為小樣本統(tǒng)計理論奠定了基礎。 結論：要想使實際風險最小不僅要 使經(jīng)驗風險最小 ， 還同時需要 使分類器函數(shù) f的 VC維 h盡可能最小 ，這就是 結構風險最小化原則 。統(tǒng)一 (1),(2)得： yi(wxi+b) ?1 對于樣本集的任一向量 (點 )xi，其到超平面 H的距離為： wwbwxwbwxdTiii ????? ||||支持向量機 那么， margin的大小可按下式計算： margin=d++d d+=min{di|i?{1,2,...,l},yi=+1}。 ? 算法類 ：面向問題迭代計算完成，如 kmeans， PageRank。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之四 ：快速算法設計 ? 典型代表是密度峰值的快速搜索與發(fā)現(xiàn)方法（ fast search and find of density peaks， 2023年， Alex Rodriguez and Alessandro Laio， 《 Science》 ），用于聚類分析，其思想是聚類中心被比其密度低的鄰近結點包圍，而這些鄰近結點到其他高密度結點的距離較遠。 MIC可以捕獲廣泛的關聯(lián)關系，包括函數(shù)關系和非函數(shù)關系，屬于基于最大信息的非參數(shù)探究（ Maximal informationbased nonparametric exploration, MINE）統(tǒng)計學范疇。 ? 機器學習類 ：建模，抽樣，訓練，檢驗。 xi為輸入向量，對應的類標簽為 yi(+1或 1)。 VC維在其中起重要作用，實際上置信范圍是 h的增函數(shù)。 dxd yyxpyxffR ? ?? ),()()(11( ) ( )le m p i ii