2_貝葉斯決策理論(編輯修改稿)
2025-03-25 21:51 本頁面
【文章內(nèi)容簡介】 的最小風(fēng)險(xiǎn)分類結(jié)果對應(yīng)各種先驗(yàn)概率的風(fēng)險(xiǎn)變化 為何為切線？ 盡管對應(yīng) 的最小風(fēng)險(xiǎn)相對其他先驗(yàn)概率最大，但不管先驗(yàn)概率如何變化，此種分類風(fēng)險(xiǎn)恒定，從而使所有可能的最大風(fēng)險(xiǎn)最小化 * 1()bP ? 小結(jié)：各種情況下的方法選擇 在某些實(shí)際問題中，可能存在以下幾種情況： ⑴ 不知道各類的先驗(yàn)概率 ) ( i P ? ⑵ 難于確定誤判的代價(jià) ij ? ⑶ 某一種錯誤較另一種錯誤更為重要 針對⑴ ， 可以采用最小最大損失準(zhǔn)則或簡單令各 類先驗(yàn)概 率相等 針對⑶ ， NP準(zhǔn)則 針對⑵ ，如果允許的話，可 以避開使用損失函數(shù) 而采用最小誤判概率準(zhǔn)則 分類器、判別函數(shù)及決策面 ? 應(yīng)用前述 Bayes決策規(guī)則，設(shè)計(jì) 分類器 對觀察量實(shí)施分類 ? 用于表達(dá)決策規(guī)則的某些函數(shù)稱為 判別函數(shù) ；是直接用來對模式樣本進(jìn)行分類的準(zhǔn)則函數(shù) ? 對于 c類問題，按照決策規(guī)則把 d維特征空間分成 c個決策域，劃分決策域的邊界面稱為 決策面 多類問題 ——最小錯誤率決策規(guī)則 多類問題 ——判別函數(shù) 多類問題 ——決策面 多類問題 ——分類器 ?1 ()g x1x2xdx1g?cg2g 2 ()g x()cg xm a x()? 兩類情況 ——決策規(guī)則 兩類問題 ——判別函數(shù) 兩類問題 ——決策面 兩類問題 ——分類器 例題 :教材 23頁，套公式 正態(tài)分布時的統(tǒng)計(jì)決策 ? 貝葉斯分類器的結(jié)構(gòu)可由條件概率密度和先驗(yàn)概率來決定 ? 最受青睞的密度函數(shù) ——正態(tài)分布，也稱高斯分布 ? 合理性：中心極限定理表明，在相當(dāng)一般的條件下，當(dāng)獨(dú)立隨機(jī)變量的個數(shù)增加時，其和的分布趨于正態(tài)分布 ? 簡易性 正態(tài)分布的定義及性質(zhì) ? 單變量正態(tài)分布由兩個參數(shù)完全確定，即均值和方差 ( ) ( )E x x p x d x??????? ?2 2 2( ) ( ) ( )E x x p x d x? ? ???????? ? ? ??? ? 正態(tài)分布概率密度函數(shù) ? 在整個定義域上積分為 1 ? 服從正態(tài)分布的樣本聚集在均值附近，其散布程度與標(biāo)準(zhǔn)差（方差）有關(guān) 多元正態(tài)分布 均值向量 協(xié)方差矩陣 多元正態(tài)分布的概率密度函數(shù)定義 協(xié)方差矩陣的計(jì)算 123[ 0 , 0 ,1 ][ 0 ,1, 0][1, 0 , 0]TTTxxx???2 1 111 2 191 1 2??????? ? ? ???????計(jì)算公式 ，計(jì)算協(xié)方差矩陣。 已知 協(xié)方差矩陣的性質(zhì) ? 對稱非負(fù)定陣 ? 元素正負(fù)？ ? 元素含義：對角線和非對角線 ? 協(xié)方差：用來度量變量之間“協(xié)同變異”大小的總體參數(shù)，即二者相互影響大小的參數(shù)；絕對值越大，相互影響越大 ? 對角陣情形；去相關(guān) 多元正態(tài)分布的性質(zhì) ? 均值向量和協(xié)方差矩陣共同決定分布 ? 均值向量有 d個分量 ? 協(xié)方差矩陣獨(dú)立元素個數(shù)為 d(d+1)/2 ? 多元正態(tài)分布由 d+d(d+1)/2個參數(shù)完全決定，常表示為 ( ) ~ ( , )p x N ? ? 多元正態(tài)分布的性質(zhì) ? 等密度點(diǎn)的軌跡是超橢球面 ? ? ? ?112 211( ) e x p2( 2 )Tdp ??????? ? ? ? ??????x x x 多元正態(tài)分布的性質(zhì) ? 馬氏距離： 到 的 Mahalanobis距離 ? 等密度點(diǎn)軌跡是到均值向量的馬氏距離為常數(shù)的超橢球面 ? 樣本離散度由 決定；同單變量正態(tài)分布類似，方差影響樣本分布的疏密程度 12?1( ) ( )Txx? ? ??? ? ? ??x 橢圓主軸的確定 ? ? ? ?? ? ? ?112 21211( ) e x p2( 2 )TdTp ???? ? ?????? ? ? ? ??????? ? ? ?x x xxx12T ????xx為簡單處理，將橢球中心移至原點(diǎn)來求橢球長短軸 設(shè) 在超橢球上， 到超橢球中心的距離為 ，求主軸長度即是求其條件極值，構(gòu)造 Lagrange函數(shù) 1211( , ) ( )2 2 0 0 0TTLL? ? ???????? ? ? ??? ? ? ? ? ? ? ??? ? ? ?x x x x xx x x xxxx12Txxx x1112 20 T T T?? ? ? ? ???? ? ?? ? ? ? ?xxx x x x x x 對 的橢圓 1??第 i 個主軸的長度與 Σ的第 i 個特征值的平方根成正比，方向由對應(yīng)特征向量的方向決定 多元正態(tài)分布的性質(zhì) ? 不相關(guān)性等價(jià)于獨(dú)立性 ? 邊緣分布和條件分布的正態(tài)性 ? 線形變換的
公司管理相關(guān)推薦
鄂ICP備17016276號-1