概率密度估計(jì)ppt課件(編輯修改稿)
2025-05-28 02:10 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 標(biāo)準(zhǔn) —— 無(wú)偏性、有效性和一致性 無(wú)偏性： 漸近無(wú)偏性： 有效性：對(duì)估計(jì) 和 ，若方差 則 更有效 一致性： 無(wú)偏性和有效性： 對(duì)于多次估計(jì)，估計(jì)量能以較小的方差平均地表示真實(shí)值。 一致性： 當(dāng)樣本數(shù)無(wú)窮多時(shí)，每一次估計(jì)都在概率意義上任意接近真實(shí)值。 ^1?^1?^2? ?????????????^22^12 ????167。 正態(tài)分布的監(jiān)督參數(shù)估計(jì) 以正態(tài)分布為例說(shuō)明上節(jié)介紹的參數(shù)估計(jì)方法 最大似然估計(jì)示例 貝葉斯估計(jì)和貝葉斯學(xué)習(xí)示例 （一）貝葉斯估計(jì) 一般情況下， 特例： （二）貝葉斯學(xué)習(xí) 167。 非監(jiān)督參數(shù)估計(jì) 以上討論的是監(jiān)督參數(shù)估計(jì)，即已知各樣本的類(lèi)別，根據(jù)各類(lèi)樣本集估計(jì)本類(lèi)的概率密度函數(shù)中的參數(shù)。 非監(jiān)督參數(shù)估計(jì)指樣本類(lèi)別未知，但各類(lèi)條件概率密度函數(shù)的形式已知，根據(jù)所有樣本估計(jì)各類(lèi)密度函數(shù)中的參數(shù)。 本節(jié)只介紹非監(jiān)督最大似然估計(jì)的思路 非監(jiān)督參數(shù)估計(jì)的最大似然法 （一）假設(shè)條件： 1. 樣本集 中的樣本屬于 C 個(gè)類(lèi)別，但不知各樣本屬哪類(lèi) 2. 類(lèi)先驗(yàn)概率 已知 3. 類(lèi)條件概率密度形式已知 4. 未知僅是 c 個(gè)參數(shù)向量 的值 所有未知參數(shù)組成的向量記為 },{ 1 NxxX ??ciP i ,1),( ???c??? , 21 ?（二）似然函數(shù) 混合密度 分量密度：類(lèi)條件密度 混合參數(shù)：先驗(yàn)概率 （有時(shí)也可未知，一起參與估計(jì)） 設(shè)樣本集 X 中的樣本是從混合密度為 p(x |θ ) 的總體中獨(dú)立抽取的， 即滿(mǎn)足獨(dú)立同分布條件， θ 確定但未知，則 似然函數(shù) 對(duì)數(shù)似然函數(shù) )( iP?),|( iixp ??（三）可識(shí)別性問(wèn)題 求出 ，就得到了 ，即從混合密度函數(shù)中恢復(fù)出了分量密度函數(shù)?？赡軉?？什么條件下可能？ 可識(shí)別性： 若對(duì) θ ≠θ′ ，對(duì)混合分布中每個(gè) x 都有 p(x |θ ) ≠ p(x |θ′) ， 則密度p(x |θ ) 是可識(shí)別的。 教材指出： 大部分常見(jiàn)連續(xù)隨機(jī)變量的分布密度函數(shù)都是可識(shí)別的， 離散隨機(jī)變量的混合概率函數(shù)則往往是不可識(shí)別的。 ??c^1^ , ?? ?（四）計(jì)算問(wèn)題 對(duì)于可識(shí)別的似然函數(shù)，如何求最大似然估計(jì)？ 思路同監(jiān)督情況，即如果 對(duì) θ 可微，則令 得一系列方程組，它們是最大似然估計(jì)的必要條件，若存在唯一極值則就是解。 其中后驗(yàn)概率 )/( ?xp微分方程組 另，若 也未知，則可引入限制條件 可用 Lagrange 法求條件極值問(wèn)題，定義 Lagrange 函數(shù) )( iP?可得 其中 原則上可以從上述微分方程組中求解出最大似然估計(jì)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1