【正文】 數(shù) (x) 強(qiáng)度(y) 1 9 5 17 4 4 2 2 10 5 18 4 3 11 6 19 4 12 20 5 13 6 21 6 14 22 9 8 7 3 15 8 23 8 26 8 7 24 10 1 2 3 4 5 6 7 8 9 10123456789 纖維強(qiáng)度隨拉伸倍 數(shù)增加而增加，并 且 24個(gè)點(diǎn)大致分布 在一條直線附近， 因此可以認(rèn)為強(qiáng)度 y與拉伸倍數(shù) x的主 要關(guān)系應(yīng)是線性關(guān) 系。 ()y S x??來自函數(shù)類其中 )( xS 來自線性函數(shù)類中如 )()1( xy( , ) ( 0, 1 , , )iix y i m?),1,0)(( nixi ??? ?的基函數(shù)為設(shè)函數(shù)類 mn ?一般要求01{ ( ) , ( ) , , ( ) }nspan x x x? ? ???2 220mii???? ? 20( ( ) )miiiS x y????仍然定義 平方誤差 0 0 1 1( ) ( ) ( ) ( )nnS x a x a x a x? ? ?? ? ???二、線性最小二乘擬合 ⒈ 基本思想 給定 ， 設(shè) x,y的關(guān)系為 22*? ????miii yxS02))(*(??????miiixS yxS02)())((m in22)(min ???? xS(2) 為最小二乘解???njjj xaxS0* )()(* ?為擬合系數(shù)為擬合函數(shù) ),1,0(,)()(0njaxaxS jnjjj ??? ???2*?*0* ( ) ( )njjjS x a x??? ?稱滿足條件 (2)的求函數(shù) 的方法為 線性最小二乘擬合 。 ? ?? ???miinjijj yxa020))(( ?????miii yxS02))((⒉ 法方程組 22????njjj xaxS0)()( ?由 的函數(shù)為擬合系數(shù) ),1,0( nja j ??可知 因此可假設(shè) ),( 10 naaa ?? ? ?? ???miinjijj yxa020))(( ?因此求最小二乘解轉(zhuǎn)化為 二次函數(shù) 0 1 0 1( , , , ) , , ,nna a a a a a? ? ? ?求的最小值點(diǎn) 的問題 由多元函數(shù)取極值的必要條件 0),( 10 ???knaaaa ?? nk ,1,0 ??)]())((2[0 0ikmiinjijj xyxa ??? ?? ???ka??? 0?得 即 ?? ??? ??miikimiiknjijj xyxxa00 0)()()( ???0)]()()([0 0??? ?? ?ikmiinjikijj xyxxa ????? ??? ??miikimiiknjijj xyxxa00 0)()()( ????? ??? ??miikinjjikmiij xyaxx00 0)()]()([ ???nk ,1,0 ??(4) ????????????miikiikmiinnikmiiikmiixyxxaxxaxxa00011000)()()()()()()(??????? ?nk ,1,0 ??即 元線性方程組的是一個(gè)關(guān)于顯然 1,)4( 10 ?naaa n?引入記號(hào) ))(,),(),((10 mrrr xxx ??? ??r?),( 10 myyy ?y?)()(),(0ijmiikjk xx ???? ???則由內(nèi)積的概念可知 0( , ) ( )mk k i iiy x y???? ?(5) (6) ),( jk ?? ),( kj ???顯然內(nèi)積滿足交換律 方程組 (4)便可化為 ),(),(),(),( 1100 faaa knknkk ??????? ???? ?nk ,1,0 ??(7) 的線性方程組常數(shù)項(xiàng)為這是一個(gè)系數(shù)為 ),(),( fkjk ???將其表示成矩陣形式 ???????????? ),(),(),( 01000 n?????? ?),(),(),( 11101 n?????? ?),(),(),( 10 nnnn ?????? ????(8) ??????????????naaa?10???????????????),(),(),(10fffn????記 0 0 1 0 00 1 1 1 11( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )nnn m m n mx x xx x xGx x x? ? ?? ? ?? ? ??????????則 (8)可表示為 TTG G a G y?0 1 0 1( , , , ) , ( , , , )TTnna a a a y y y y??法方程 組,)(,),(),()8(1010上的在點(diǎn)式為函數(shù)序列稱mnxxxxxx?? ???( ) ( ) ( )TTR G R G R G G??利用線性代數(shù)知識(shí)易證關(guān)于矩陣的秩成立： ( ) ( , )T T TR G G R G G G y?又由關(guān)于秩的不等式得： 從而 ( ) ( , )T T TR G G R G G G y?? ?? ?, ( )TTG G y R G?? ()TR G G?TTG G a G y?1 、法方程組 一定有解！( ) ( , )T T TR G G R G G G y?幾點(diǎn)備注： 證明：即證 TTG G a G y?2 設(shè)法方程組 的解為 ( , , , ) 101 Tnna a a a R? ? ? ? ???則函數(shù) * * ** ( ) ( ) ( ) ( )nns x a x a x a x? ? ?? ? ? ?0 0 1 1就是最小二乘解！證明 ( ) ( ) ( ) ( )nns x a x a x a x? ? ?? ? ? ?0 0 1 1設(shè)則? ?()()()()2002 1102miiimms x ys x yQ s x ys x y?????? ???? ? ?????????()()()nns x ys x ys x y? ? ? ?? ? ? ?? ? ? ???? ? ? ?? ? ? ?? ? ? ?20011222G a y??m in22Q G a y? ? ?naR ?? 1因此最小二乘問題等價(jià)為：求 ，使得,1又因?yàn)閷?duì) naR ???a a c???因此 ( * ) *G a y G a c y G a y G c? ? ? ? ? ? ?2 2 22 2 2* ( * )TTG a y c G G a y G c? ? ? ? ?222? ? ? ?** TG a y G c G a y G c? ? ? ? ?? ?* * )T T TG a y c G G a G y G c? ? ? ? ?2**G a y G c G a y? ? ? ? ?2 2 22 2 2即： ? ?()n iiia Q s x y????? 20法方程組的解 使得 達(dá)到最??！3 最小二乘解的唯一性 ? ?? ?*( ) , ( ) , , ( )nnT T T T Tx x x GG G G Ga G y a G G G y? ? ? ? ? ?????01101 當(dāng) 線性無關(guān)時(shí)，則矩陣 列滿秩此時(shí) 可逆，法方程 有唯一解：最小二乘問題有唯一解！( ) ( ) ( , ) ( 0, 1 , , )n i iS x P x x y i m??⒊ 最小二乘多項(xiàng)式擬合 ,1)(0 ?x? ,)(1 xx ?? ,)(, ?? kk xx ?? nn xx ?)(?基函數(shù)之間的內(nèi)積為 )()(),(0ijmiikjk xx ???? ??? ???mi