【正文】 量 先證明 ? ?21 KKK A ??21111121211????? ??pAA KKKKKKK由此再證： 111212111 ????? ?? KKKKKKKppA以及 212 1111 ， ???? ???? iKKKKK ipiiA76 由上面各種關(guān)系證明（ ※ ）和（ ※※ ）。 ∴ 這是對于高斯分布的 Bhattacharyya距離。 ? ? ? ?? ?21221121211212121212 KKKKmmKKmmBT????????? ????ln8177 由上式的 B和前面的 ? 可以看出，當(dāng)兩類的協(xié)方差矩陣相等時(shí)，K1= K2= K， ? ∴ 此時(shí)的 D 和 B 是等價(jià)的度量，而且和兩類均值間的馬氏距離等價(jià)。說明 D 和B 確是兩類間偏離和距離的一種度量。 ? ? ? ? ? ?? ?21121121112211 21221 mmKKmmKKKKtrD T ??????? ???? I? ? ? ? BmmKmmD T 821121 ???? ?78 ? 上一小節(jié)定義了偏離度和 Bhattacharyya距離。下面分析它們和錯(cuò)誤率的關(guān)系。 ? 這一節(jié)討論似然比檢驗(yàn)的錯(cuò)誤率的上界。它們是基于 Bhattacharyya距離及其推廣。 四 . 錯(cuò)誤率的 Bhattacharyya和 Chernoff界 ? 最小錯(cuò)誤率（有時(shí)也叫 貝葉斯錯(cuò)誤率 ） eB 為 ： 79 ? ? ? ? ? ? ? ? xxxx12 2211 dpωPdpωPe R rR rB ?? ??? ? ? ? ? ? ? ?? ? xxx dpωPpωP rr m i n 2211????? ，利用不等式 ? ? 0 m i n ?? baabba ，上式可以化為： ? ? ? ?? ? ? ? ? ? xxx 212121 dppωPωPe rrB ? ??????即 ? ? ? ? BBrrB eeωPωPe ?? ??21212211? 這個(gè)結(jié)果稱為 Bhattacharyya界 。 ? ? ? ? B21 lnln ??????????? ????? xxx dppB? ? ? ??????? ?? xxx dppe B 21B?80 若利用不等式 和前面的推導(dǎo)一樣，可得更一般的 Chernoff界： 式中 對于高斯密度函數(shù)，可以解出上面的積分，得 ? ? 10 m i n 1 ??? ? sbaba ss，? ? ? ? ? ? 1121 ??? ? seωPωPe ssrsrB 0 ?? ? ? ? ? ? 1xxx 121 ??? ? ???? sdpps ss 0 ln?81 ? ? ? ?? ? ? ?? ? ? ?2112121 1121 mmsKKsmmsss T ??????? ??? ?ss KKsKKs21121121???? ln 比較一下 B 和 ，有 ? ?s?????????21?B即當(dāng) 時(shí) 21?sChernoff界就變?yōu)?Bhattacharyya界。 ? ? ? ? B21 lnln ??????????? ? ???? xxx dppB? ? ? ? ? ? 10 ln 121 ??? ? ??? ? sdpps ss xxx?82 ? 使用 Chernoff界的優(yōu)點(diǎn)是： ? 它可以求出錯(cuò)誤率的緊上界 (求適當(dāng)?shù)膕），此時(shí) s一般不等于 。 21? 利用 可以估計(jì)各個(gè)類的錯(cuò)誤率 和 ，以及使用任何閾值 T的似然比檢驗(yàn)的錯(cuò)誤率。 ? ?s? 1ε2ε? * 下面我們分析 Chernoff界的另一種推導(dǎo)方法。 83 * Chernoff界 ? 考慮一般的對數(shù)似然比檢驗(yàn)： ? ?? ?? ?tωωpp2121xxx???? ln而 ? ? ? ? ? ? ln121 xxx dppsss? ??????? ?? ? ? ? xxxxdppps ln221???? ?????????? ? ? ? xxx dpe s ln 2??????84 ? ?度對數(shù)似然比的類條件密 ln????????dωpexs2)(或 ? ? ? ?sxs edωpe ?＝??? ????2)(現(xiàn)定義一組（族）新的密度函數(shù)： ? ? ? ? ? ?22ωpep ωss ?? ??? ???85 由于 的積分等于 ，所以 也是密度函數(shù)，其積分等于 1。 ? ?2ωpe s ?? ? ?se?? ??p下面分析錯(cuò)誤率 ： 2ε? ? ? ? ? ??? ? ??? ? ??tsst ωdpedωpε ???? ???222由于 ，是實(shí)數(shù)，函數(shù) 是 的單調(diào)減函數(shù)。 10 ?? s ?se? ?∴ 在積分區(qū)域內(nèi)，有 sts ee ?? ??∴ ? ? ? ?? ??? ??tsst dpeε ???286 ∵ 上式的積分小于 1 ∴ ? ? stseε ?? ?2用同樣的方法可以建立 的界 1ε? ? ? ? ? ?????? ?? ttss dpeε ??? 11另外的方法是利用下面等價(jià)的對數(shù)似然比檢驗(yàn) ? ?? ?tωωpp???1212xxln87 并定義量 上面 和 的界也稱為 Chernoff界。 用和上面同樣的推導(dǎo)序列，有 令 ，而且由于 ，可得 ? ? ? ? ? ? xxx dpps ss ln112???????????? ? tsseε ???? ?1ss ??? 1 ? ? ? ?ss ?? ??? 1? ? ? ??? sseε ??? 111ε2ε88 使等式成立的 s0即為要找的 s0。 前節(jié)所建立的總錯(cuò)誤率 也可以利用本節(jié)的結(jié)果來得到。 ? 和 的緊上界可以由選擇 s以使 e的指數(shù)項(xiàng)最小來實(shí)現(xiàn)。這時(shí)對 和 都有： 2ε1ε1ε 2ε? ? tdssdss ?? 0?? ? ? ? ? ?ssrsrB eωPωPe ??? 12189 而 ∵ ∴ 上式右端為 這時(shí)， ∵ ? ? ? ? ? ? 2211 εωPεωPeP rrr ??? ? ? ? ? ? ? ? ? ? ? ? ? ??? ?????? ??tstsrttssr dpeωPdpeωP ???? ?? 211? ?? ? ln 12ωPωPrr??? ? ? ? ? ? ? ? ? ? ? ??? ?????? ??tstsrttstsr dpeωPdpeωP ???? ?? 2190 ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ??? ????? ??tstsrtstsrrr dpeωPdpeωPωPωP ???? ?? 2121? ? ? ?? ? ? ? ? ? ? ? ? ?ssrsrssrsrr eωPωPeωPωPωP ?? ??? 121212? 使 和 得到緊上界的 s0同樣使 Pr[e]有緊上界。 ? 一般在許多情況，上界在 s0處有較平的特性。常選 以避免解最優(yōu)化問題。 1ε 2ε210 ?s91