【正文】
() LM Sn LM S? ???算法的均值收斂的選擇算法的均方收斂均值收斂: ? ?( ) 0E e n ?? ? 1() optEn ???w w R r均方收斂: ? ?2( ) ( )optE n C??ww 常數*( ) [ ( ) ( ) ] ne n nuu 要求不同時間的輸入信號向量 線性獨立 因為瞬時梯度向量為 。g k g k依次可以遞推出 LMS自適應算法 隨機優(yōu)化問題 LMS: Least Mean Squares Wiener 濾波器 : 2m in {| ( ) ( ) ( ) | }HE d n n n?w wu最陡下降法 *2**( ) ( 1 ) ( ) ( ( 1 ) )( ( 1 ) ) { | ( ) ( 1 ) ( ) | }Hn n n J nJ n E d n n n?? ? ? ? ?? ? ? ? ? ?wwww w ww w u1opt uu ud??w R r真實梯度 最陡下降法的改進 : *( ) ( 1 ) ( ) ( ) ( ( 1 ) )n n n n J n?? ? ? ? ?ww w Q w21 *( ) ( 1 ) ( ) [ ( ( 1 ) ) ] ( ( 1 ) )n n n J n J n? ?? ? ? ? ? ? ?ww w w w 牛頓法 : 2 ( ( 1 ) ) : H e ss ia n )Jn?? w 共軛梯度的梯度( 矩陣*2 * ( ( 1 ) ) ( 1 ) ( 1 ) ,( ( 1 ) ) ( 1 )( ( 1 ) )( ( 1 ) )( 1 )HTJ n n nJ n nJnJnn? ? ? ?? ? ? ?? ? ?? ? ? ???www w Aww AwwwAw例如,若 則確定性優(yōu)化 也稱隨機逼近最優(yōu)化。 ()ny性質 1: (正交 ), ? ?( ) ( ) 0HE n n ?αy 是不同于 的新過程 ()nα ()ny性質 2: , 是個白噪聲過程 ? ?( ) ( ) 0 , HE n n n k? ? ?αα ()nα性質 3: (一一對應關系 ) 保留有 的所有信息 ()nα? ? ? ?( 1 ) , , ( ) ( 1 ) , , ( )nn?yy αα()nα ()ny1211111( ) ( 1 , ) ( , 1 ) ( ) ( ) ( , 1 ) ( ) ( )?( ) ( ) ( ) ( )?( 1 ) ( 1 , ) ( ) ( ) ( )( ) ( , 1 ) ( 1 , ) ( ) ( ) ( , 1 )( 1 , ) ( 1 , ) ( ) ( 1 , ) ( )HHHn n n n n n n n n n nn n n nn n n n n nn n n n n n n n nn n n n n n n n??? ??? ? ? ? ????? ????? ? ? ???? ? ? ? ??? ? ? ? ? ???G F K C C K C Qα y C xx F x G αP K F G C KK F P F Q估計 ()nx 狀態(tài)向量估計誤差: 1?( , 1 ) ( ) ( )n n n n? ? ?ε x x相關矩陣: ? ?( , 1 ) ( , 1 ) ( , 1 )Hn n E n n n n? ? ? ?K εε: Kalman 增益矩陣 ()nG校正項 :: Kalman 新息 ()nα例: 是一個時不變的標量隨機變量, 為 觀測數據 ,其中 為白噪聲。若用 Kalma