【正文】 征向量 這種情況下 判別函數(shù) : 2,),( 21 ?? MTi ???2,)( 2,1 ?? nxxX T32211 wxwxw)x(g ???為坐標(biāo)向量為參數(shù)， 21 , xxw在兩類(lèi)別情況，判別函數(shù) g (x) 具有以下性質(zhì)： 這是二維情況下判別由判別邊界分類(lèi)。 線性判別函數(shù) 我們現(xiàn)在對(duì)兩類(lèi)問(wèn)題和多類(lèi)問(wèn)題分別進(jìn)行討論。其它 MiXXWxg iTii,...,2,1,0,0)(?：每一模式類(lèi)與其它模式類(lèi)間可用單個(gè)判別平面把一個(gè)類(lèi)分開(kāi)。 3?????????0)(0)(0)(321xgxgxg1?2? ????????000321)x(g)x(g)x(g????????0)(0)(0)(321xgxgxg? ?????4IR 3IR1IR2IR1x2x0)(1 ?xg0)(2 ?xg0)(3 ?xg551必須指出，如果某個(gè) X使二個(gè)以上的判別函數(shù) gi(x) 0 。 同理，三類(lèi)問(wèn)題則有三個(gè)判別平面。 假設(shè)判別函數(shù)為： 則判別邊界為： ?????????????23212211)(1)()(xxgxxxgxxxg????????????????????012)()(02)()(012)()(21322131121xxxgxgxxxgxgxxgxg2?)()( 21 xgxg ?)()( 32 xgxg ?)()( 31 xgxg ?1?3?結(jié)論： 不確定區(qū)間沒(méi)有了，所以這種是最好情況 。 廣義線性判別函數(shù) ?研究動(dòng)機(jī) ?線性判別函數(shù)簡(jiǎn)單，容易實(shí)現(xiàn)； ?非線性判別函數(shù)復(fù)雜，不容易實(shí)現(xiàn)； ?若能將非線性判別函數(shù)轉(zhuǎn)換為線性判別函數(shù)，則有利于模式分類(lèi)的實(shí)現(xiàn)。實(shí)際上，一般 r只取 2。 ?加權(quán)空間的性質(zhì)：加權(quán)空間的所有分界面都通過(guò)坐標(biāo)原點(diǎn)。即 Ω1,Ω2空間，當(dāng)x在 Ω1空間時(shí) g(x)0,W指向 Ω1，為H的正側(cè)，反之為 H的負(fù)側(cè)。正 比 于 到 的 代 數(shù) 距 離 。 J必須滿足： a) J是樣本集 X和 、 的函數(shù)； b) J的值反映分類(lèi)器的性能，其極值解對(duì)應(yīng)于“最好”的決策。 因此 ， 求解權(quán)向量的問(wèn)題就轉(zhuǎn)化為對(duì)一標(biāo)量函數(shù)求極值的問(wèn)題 。 21若令 W=Wk+1上式為 J(Wk+1)=J(Wk)+▽ JT(Wk+1Wk)+(Wk+1Wk)TD(Wk+1Wk)T/2 對(duì) Wk+1求導(dǎo) ， 并令導(dǎo)數(shù)為零可得： 最佳迭代公式： Wk+1= Wk D1▽ J —牛頓法的迭代公式 D1是 D的逆陣 討論： 牛頓法比梯度法收斂的更快 ， 但是 D的計(jì)算量大并且要計(jì)算 D1。 x1 x2 x3 2 H 3 H1 4 H2 5 W區(qū)間 ?感知器算法： wk 如 wkTx≤0并且 x∈ ω1 wk+1= wk+ρkx 如 wkTx≥0并且 x∈ ω2 wk+1= wkρkx ， wk不修正 如 wkTx＞ 0并且 x∈ ω1 如 wkTx＜ 0并且 x∈ ω2 wk+1= wk + H wk+1 ρkx wk 權(quán)值修正過(guò)程 ?賞罰概念： 感知器算法顯然是一種賞罰過(guò)程。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準(zhǔn)則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi 選取合適的 b，只要計(jì)算出 X+就可以得到 W。 其極值解是 n維 x空間向一維 y空間 的最好投影方 向，它實(shí)際是多維空間向一維空間的一種映射。 3. 用感知器算法求下列模式分類(lèi)的解向量 w： 設(shè) W(1)=(1,2,2,0)，繪出其判別面。 Y=WTXW0， 則 X∈ ω2。若適當(dāng)選擇 W的方向，可以使二類(lèi)分開(kāi)。 訓(xùn)練樣本 wkTx 修正式 修正后的權(quán)值 wk＋ 1 迭代次數(shù) x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1x3 w2x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 w3+x1 w4 w4x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 4 三 、最小平方誤差準(zhǔn)則 非迭代法 前面我們討論的線性分類(lèi)器訓(xùn)練方法，其共同點(diǎn)是企圖找一個(gè)權(quán)向量 W，使錯(cuò)分樣本最小。理想情況為 ，即求 最小值 的問(wèn)題。 關(guān)于步長(zhǎng) ρk討論： (1) ρk太大 ， 迭代太快 ， 引起振蕩 ， 甚至發(fā)散 。 求解時(shí)： ① 只有對(duì)線性可分的問(wèn)題 ， g(x) =WTX才有解 ② 聯(lián)立方程的解是非單值 ， 在不同條件下 ， 有不同的解 ， 所以就產(chǎn)生了 求最優(yōu)解的問(wèn)題 ③ 求解 W的過(guò)程就是訓(xùn)練的過(guò)程 。 ?求解權(quán)向量的過(guò)程就是分類(lèi)器的訓(xùn)練過(guò)程 ， 使用已知類(lèi)別的有限學(xué)習(xí)樣本來(lái)獲得分類(lèi)器的權(quán)向量被稱為 有監(jiān)督的分類(lèi) 。在因?yàn)?這是超平面的第二個(gè)性質(zhì)，矢量 x到超平面的正交投影 正比與 g(x)的函數(shù)值。 ? 因 x1,x2∈ ω1， x3,x4∈ ω2由圖可見(jiàn) x1,x3離的最近，所以 分界面 H可以是 x1,x3之間的任一直線，由垂直于這些直線的 W就構(gòu)成解區(qū)，解區(qū)為一扇形平面，即陰影區(qū)域。 線性判別函數(shù)的性質(zhì) 一、模式空間與加權(quán)空間： ? 模式空間：由 構(gòu)成的 n維歐氏空間 。 ?fi(x)選用二次多項(xiàng)式函數(shù) ： ?對(duì)于二維情況：模式空間為 ，原判別函數(shù)為： 可線性化為： 其中 ),( 21 xxx ?? ? 221 1 1 1 2 1 2 2 2 2 1 1 2 2 3( ) ( )g x w x w x x w x w x w x w? ? ? ? ? ?? ?**g ??x w x? ?* 2 21 1 2 2 1 2, , , , , 1x x x x x x?x? ?1 1 1 2 2 2 1 2 3, , , , ,w w w w w w?w?對(duì)于 n維情況，則有 ? ?1211 1 1 1()n n n ni i i i j i j i i ni i j i ig x w x w x x w x w??? ? ? ? ?? ? ? ?? ? ? ?式中各項(xiàng)的組成包括 x各個(gè)分量的二次項(xiàng)、一次項(xiàng)和 wn+1項(xiàng)，其總項(xiàng)數(shù)為 ? ? ? ? ? ?121 / 2 12nnn n n n??? ? ? ? ?????顯然， x*的維數(shù)比 x高， w分量的數(shù)目亦與 x*的維數(shù)相同。 ?對(duì)于 M（ M≥2）類(lèi)模式分類(lèi)，第一、三種情況需要M個(gè)判別函數(shù)，第兩種情況需要 M(M1)/2個(gè)判別函數(shù)。 類(lèi)與 類(lèi)之間的邊界可由 gi(x) =gj(x) 或gi(x) gj(x) =0來(lái)確定。 IR1， IR2，IR3， IR4。如果一模式 X屬于 ω1，則由圖可清楚看出：這時(shí) g1(x) 0而 g2(x