第6章-近鄰法-文庫吧資料
2024-08-28 23:48本頁面
【正文】 C P e??? ??? ??xxx? ? ? ?( ) ( ) ( ) ( )kN k k kP E P e E C P e C E P e C P? ? ???? ? ? ? ? ?? ? ? ?? ? ? ? ? ?x x x ( )kNkk P C P ???11( ) ( ) ( ) 2 ( 1 )21kkcP P C P C P C PP P P PcPP? ? ? ? ?? ? ???? ? ? ? ? ? ???? ? ??????第 6章 近鄰法 返回本章首頁 近鄰法則討論 11( ) ( ) ( ) 2 ( 1 )21kkP P C P C P C P P PcP P P Pc? ? ? ? ? ??? ? ?? ? ? ? ? ? ???? ? ??? ???P( 1 )cc?( 1 )cc?P?0P0 . 50 . 5P?1k ? ()kCP?5k ? 7k ?0第 6章 近鄰法 返回本章首頁 從上面可以看出近鄰法有方法簡(jiǎn)單的優(yōu)點(diǎn)，但也存在這一些缺點(diǎn)： （ 1）存儲(chǔ)量和計(jì)算量都很大； （ 2）沒有考慮決策的風(fēng)險(xiǎn)，如果決策的錯(cuò)誤代價(jià)很大時(shí)，會(huì)產(chǎn)生很大的風(fēng)險(xiǎn)； （ 3）以上的分析 —— 漸近平均錯(cuò)誤率，都是建立在樣本數(shù)趨向無窮大的條件下得來的，在實(shí)際應(yīng)用時(shí)大多是無法實(shí)現(xiàn)的。為避免出現(xiàn) 而不能判決的情況，我們?nèi)? 為奇數(shù)。前面我們?cè)敿?xì)討論了近鄰法的錯(cuò)誤率的表達(dá)式及其上下界。試問： （ 1） 按近鄰法分類，這兩類最多有多少個(gè)分界面 （ 2） 畫出實(shí)際用到的分界面 （ 3） A1與 B4之間的分界面沒有用到 1A2A3A2B3B1B4B第 6章 近鄰法 返回本章首頁 答：按近鄰法，對(duì)任意兩個(gè)由不同類別的訓(xùn)練樣本構(gòu)成的樣本對(duì)， 如果它們有可能成為測(cè)試樣本的近鄰，則它們構(gòu)成一組最小距離分 類器，它們之間的中垂面就是分界面，因此由三個(gè) A類與四個(gè) B類訓(xùn) 練樣本可能構(gòu)成的分界面最大數(shù)量為 3 4＝ 12。 （ 1） （ 2） 21( ) 1 ( ) 0( ) ( ) 01 ( ) ( ) 1mciiP e PP P e p dP P p d??????? ? ?????? ? ????????xxx x xx x x( ) 1mP ? ?x 1( ) 1 , 2 , ,iP i cc? ??x21( ) 1 ( ) ( 1 )( ) ( ) ( 1 )1 ( ) ( ) ( 1 )mciiP e P c cP P e p d c cP P p d c c??????? ? ? ?? ? ???? ? ? ????????xxx x xx x xPP??第 6章 近鄰法 返回本章首頁 現(xiàn)在在來求最近鄰法分類錯(cuò)誤率的精確上 界。那么，任何樣本落入以 為中心的一個(gè)超球 S 中的概率為 N個(gè)獨(dú)立的樣本落在 S 外的概率為 即是，一個(gè)樣本也不落在 S 內(nèi)的概率為 0，也就是說總有一個(gè)樣本落在 S 內(nèi)的概率為 1。對(duì)于 取平均 2 1cP P P Pc? ? ???? ? ??????()NPe ?x , xl i m ( ) ( )Np ???????x x x x11( ) 1 ( , ) 1 ( ) ( )ccN i i i iiiP e P P P? ? ? ? ? ???? ? ? ?? ? ? ? ? ???x , x x , x x xx?x( ) ( ) ( )NNP e P e p d? ? ?? ?x x , x x x x?x第 6章 近鄰法 返回本章首頁 212121l i m ( ) l i m ( ) ( )l i m 1 ( ) ( )l i m 1 ( )1(())NNNNciNiciNiciiP e P e p dP p dPdP????? ? ? ????????? ? ???????????????????????????????x x , x x x xx x x xxxxxx11( ) 1 ( , ) ( ) ( )1cci i i iiiNPe P P P? ? ? ? ? ???? ? ? ? ?? ? ????? x , x x,x xx21l i m ( ) 1 ( )cNiNiP e P ??? ?? ?? ?x , x x第 6章 近鄰法 返回本章首頁 下面我們看一下上面的兩個(gè)表達(dá)式。 ()mP ? x m?m?x1 2 3( ) 0 . 4 ( ) 0 . 3 ( ) 0 . 3P P P? ? ?? ? ?x x x1??x1( ) 0 . 4P ? ?x1??x11 ( ) 0 . 6P ???x1??x( ) 1mP ? ?x1()mPc? ?x11c?第 6章 近鄰法 返回本章首頁 最近鄰法的錯(cuò)誤率分析 在前面我們?cè)o出平均錯(cuò)誤率的 在最小錯(cuò)誤率的 Bayes決策中，決策使條件錯(cuò)誤率 盡可能小，從而平均錯(cuò)誤率 也一定最小。 當(dāng) 時(shí)，最近鄰法的決策結(jié)果與最小錯(cuò)誤率的Bayes決策的決策結(jié)果相同，它們的錯(cuò)誤率都是比較小的，兩種方法同樣的好，當(dāng) ，兩者的錯(cuò)誤概率接近于 ，兩種方法同樣的壞。 我們把 的最近鄰 的類別看成是一個(gè)隨機(jī)變量 ， 的概率為后驗(yàn)概率 最近鄰法則可以看成是一個(gè)隨機(jī)化決策 —— 按照概率 來決定 的類別。 返回本章首頁 第 6章 近鄰法
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1