概率密度估計(jì)ppt課件(編輯修改稿)
2025-05-28 02:10 本頁面
【文章內(nèi)容簡介】 標(biāo)準(zhǔn) —— 無偏性、有效性和一致性 無偏性： 漸近無偏性： 有效性：對估計(jì) 和 ，若方差 則 更有效 一致性： 無偏性和有效性： 對于多次估計(jì)，估計(jì)量能以較小的方差平均地表示真實(shí)值。 一致性： 當(dāng)樣本數(shù)無窮多時，每一次估計(jì)都在概率意義上任意接近真實(shí)值。 ^1?^1?^2? ?????????????^22^12 ????167。 正態(tài)分布的監(jiān)督參數(shù)估計(jì) 以正態(tài)分布為例說明上節(jié)介紹的參數(shù)估計(jì)方法 最大似然估計(jì)示例 貝葉斯估計(jì)和貝葉斯學(xué)習(xí)示例 （一）貝葉斯估計(jì) 一般情況下， 特例： （二）貝葉斯學(xué)習(xí) 167。 非監(jiān)督參數(shù)估計(jì) 以上討論的是監(jiān)督參數(shù)估計(jì)，即已知各樣本的類別，根據(jù)各類樣本集估計(jì)本類的概率密度函數(shù)中的參數(shù)。 非監(jiān)督參數(shù)估計(jì)指樣本類別未知，但各類條件概率密度函數(shù)的形式已知，根據(jù)所有樣本估計(jì)各類密度函數(shù)中的參數(shù)。 本節(jié)只介紹非監(jiān)督最大似然估計(jì)的思路 非監(jiān)督參數(shù)估計(jì)的最大似然法 （一）假設(shè)條件： 1. 樣本集 中的樣本屬于 C 個類別，但不知各樣本屬哪類 2. 類先驗(yàn)概率 已知 3. 類條件概率密度形式已知 4. 未知僅是 c 個參數(shù)向量 的值 所有未知參數(shù)組成的向量記為 },{ 1 NxxX ??ciP i ,1),( ???c??? , 21 ?（二）似然函數(shù) 混合密度 分量密度：類條件密度 混合參數(shù)：先驗(yàn)概率 （有時也可未知，一起參與估計(jì)） 設(shè)樣本集 X 中的樣本是從混合密度為 p(x |θ ) 的總體中獨(dú)立抽取的， 即滿足獨(dú)立同分布條件， θ 確定但未知，則 似然函數(shù) 對數(shù)似然函數(shù) )( iP?),|( iixp ??（三）可識別性問題 求出 ，就得到了 ，即從混合密度函數(shù)中恢復(fù)出了分量密度函數(shù)。可能嗎？什么條件下可能？ 可識別性： 若對 θ ≠θ′ ，對混合分布中每個 x 都有 p(x |θ ) ≠ p(x |θ′) ， 則密度p(x |θ ) 是可識別的。 教材指出： 大部分常見連續(xù)隨機(jī)變量的分布密度函數(shù)都是可識別的， 離散隨機(jī)變量的混合概率函數(shù)則往往是不可識別的。 ??c^1^ , ?? ?（四）計(jì)算問題 對于可識別的似然函數(shù)，如何求最大似然估計(jì)？ 思路同監(jiān)督情況，即如果 對 θ 可微，則令 得一系列方程組，它們是最大似然估計(jì)的必要條件，若存在唯一極值則就是解。 其中后驗(yàn)概率 )/( ?xp微分方程組 另，若 也未知，則可引入限制條件 可用 Lagrange 法求條件極值問題，定義 Lagrange 函數(shù) )( iP?可得 其中 原則上可以從上述微分方程組中求解出最大似然估計(jì)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1