模式識別-參數(shù)估計(jì)統(tǒng)計(jì)決策法(更新版)
【正文】 出現(xiàn)的概率。 },{ 21)( nj XXXX ??)/( jXp ?)(jX6 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ? 解決方案 7 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ? 解決方案 8 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ? 設(shè)有 6個學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且方差已知，現(xiàn)需估計(jì)最佳的均值 μ ? 可以看出， μ取 A和 B對似然函數(shù) 的影響 ??6 1 )/(k kXp ?由于 μ取 B是似然函數(shù)更大，參數(shù) B優(yōu)于 A P ( x / μ ) x A B μ=B μ=A 9 Applied Pattern Recognition CSE616 最大似然估計(jì)法 P ( x / θ ) 10 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ? 設(shè)有 6個學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且均值已知，現(xiàn)需估計(jì)最佳的方差 σ ? 可以看出， σ的變化對似然函數(shù) 的影響 P ( x / σ ) x σ 1 σ 2 ??6 1 )/(k kXp ?參數(shù) σ1 優(yōu)于 σ2 11 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ? 如何尋求最優(yōu)參數(shù)？ 12 Applied Pattern Recognition CSE616 ? 解決方案 ? 用求極值的方法求最佳 θ 值 為計(jì)算方便，對似然函數(shù)求自然對數(shù) : 最大似然估計(jì)法 ?????nkknkk XpXp11)/(ln)/(ln ??13 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ?解決方案 定義梯度算子▽為： ??????????????????????????????r?????2114 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ?解決方案 則令： 0])/(ln[1?? ??nkkXp ??15 Applied Pattern Recognition CSE616 最大似然估計(jì)法 ? 解決方案 即 ： 可得到 r個關(guān)于參數(shù) θ 的方程組，求解方程組，即可求得最佳估計(jì)值。 ? 問題 由學(xué)習(xí)樣本 估計(jì)最佳參數(shù)。 ? 由 Bayes公式有： 其中 為的后驗(yàn)概率，表示在觀察了 n個學(xué)習(xí)樣本 后對 的修正分布。 反映了對參數(shù) μ估計(jì)的不確定性，當(dāng) 時， )/( )( jXp ?2n? ??n 02 ?n?46 Applied Pattern Recognition CSE616 Bayes估計(jì) 47 Applied Pattern Recognition CSE616
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1