第三章概率密度的估計(jì)-文庫(kù)吧資料
2025-08-07 17:50本頁(yè)面
【正文】 ={x1, x2,…, xN} BE? ( | )p K d? ? ? ??? ?( | ) ( )( | )( | ) ( )p K ppKp K p d???? ? ??? ?? 計(jì)算 μ的 后 驗(yàn)分布： 第三章 概率密度密度的估計(jì) 27 一元正態(tài)分布例解 (II) ?計(jì)算 μ的后驗(yàn)分布： 貝葉斯估計(jì) 12( | ) ( )( | )()( | ) ( () ,~ )Nk NNkp K ppKpKp x p N???? ? ? ????? ?? ( | )B Np K d? ? ? ?????22002 2 2 200NNN mNN????? ? ? ??? ??222 0220N N?????? ?計(jì)算 μ的 貝 葉斯估計(jì) ： 第三章 概率密度密度的估計(jì) 28 貝葉斯學(xué)習(xí) ?貝葉斯學(xué)習(xí)：利用 θ的先驗(yàn)分布 p(θ)及樣本提供的信息求出 θ的后驗(yàn)分布 p(θ|K) ，然后直接求總體分布 p(x|K) ( | ) ( , | ) ( | ) ( | )p K d ppK p K d? ??? ???? ? xxx0?( | ) ( | ) ( )Np K p p???? ? ? ?x x x0( | ) ( )NpK? ? ? ??? ??貝葉斯估計(jì) 第三章 概率密度密度的估計(jì) 29 一元正態(tài)分布例解 ?總體分布密度為： 2( | ) ~ ( , )p x N? ? ??均值 μ為隨機(jī)未知變量，其先驗(yàn)分布為： ?樣本集： K={x1, x2 ,…, xN} ? 計(jì)算 μ的后驗(yàn)分布： 12( | ) ( )( | ) ( | ) ( ) ~ ( , )() NNNkkp K pp K p x p NpK??? ? ? ? ????? ?200( ) ~ ( , )pN? ? ?2202 2 2 2 000NNN mNN????? ? ? ??? ??222 0220N N?????? ?貝葉斯估計(jì) 第三章 概率密度密度的估計(jì) 30 一元正態(tài)分布例解 (II) ?直接計(jì)算總體密度： 22( | )( | ) |~ ()),(NNp x Kp x p K dN? ? ?? ? ??? ?貝葉斯估計(jì) 第三章 概率密度密度的估計(jì) 31 非參數(shù)估計(jì) ?非參數(shù)估計(jì) ：密度函數(shù)的形式未知，也不作假設(shè)，利用訓(xùn)練數(shù)據(jù)直接對(duì)概率密度進(jìn)行估計(jì)。 ?概率密度函數(shù)的形式已知，參數(shù)未知，為了描述概率密度函數(shù) p(x|ωi)與參數(shù) θ 的依賴關(guān)系，用p(x|ωi,θ)表示。 ?實(shí)例：正態(tài)分布最小錯(cuò)誤率貝葉斯分類器在特殊情況下，是線性判別函數(shù) g(x)=wTx（決策面是超平面），能否基于樣本直接確定 w? 訓(xùn)練樣本集 決策規(guī)則： 判別函數(shù) 決策面方程 選擇最佳準(zhǔn)則 引言 第三章 概率密度密度的估計(jì) 7 概率密度估計(jì)的方法 ?類的 先驗(yàn)概率 P(ωi)的估計(jì)： ?用訓(xùn)練數(shù)據(jù)中各類出現(xiàn)的頻率來(lái)估計(jì) ?依靠經(jīng)驗(yàn) 引言 ?類條件 概率密度函數(shù) 的估計(jì)：兩大類方法 ?參數(shù)估計(jì) ：概率密度函數(shù)的形式已知，而表征函數(shù)的參數(shù)未知，需要通過訓(xùn)練數(shù)據(jù)來(lái)估計(jì) ? 最大似然估計(jì) ? Bayes估計(jì) ?非參數(shù)估計(jì) ：概率密度函數(shù)的形式未知，也不作假設(shè)，利用訓(xùn)練數(shù)據(jù)直接對(duì)概率密度進(jìn)行估計(jì) ? Parzen窗法和 kn近鄰法 ? 神經(jīng)網(wǎng)絡(luò)方法 第三章 概率密度密度的估計(jì) 8 參數(shù)估計(jì) ?統(tǒng)計(jì)量 ：樣本集 K={x1, x2 ,…, xN}的某種函數(shù)f(K) ?參數(shù)空間 ：總體分布的未知參數(shù) θ所有可能取值組成的集合 (Θ) 12? ( , , ... , ) ( )Nd d K?? ??x x x的是 樣 本 集 的 函 數(shù) ， 它 對(duì) 樣 本 集 的 一 次實(shí) 現(xiàn) 稱估 計(jì) 量為 估 計(jì) 值? 點(diǎn)估計(jì) 和 參數(shù)估計(jì) ? 點(diǎn)估計(jì)的 估計(jì)量 和 估計(jì)值： 第三章 概率密度密度的估計(jì) 9 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn) ?估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn) ： 無(wú)偏性，有效性，一致性 ?無(wú)偏性 ： E( )=θ ?有效性 ： D( )小，估計(jì)更有效 ?一致性 ： 樣本數(shù)趨于無(wú)窮時(shí)， 依概率趨于 θ： ???l i m ( ) 0NP ? ? ???? ? ?????第三章 概率密度密度的估計(jì) 10 最大似然估計(jì) ?Maximum Likelihood (ML)估計(jì) ?估計(jì)的 參數(shù) θ 是確定而未知的 ，而 Bayes估計(jì)方法則視 θ 為隨
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1