【文章內(nèi)容簡介】 非奇異，則此最小值是唯一的， 由下式給出。 證明： From () () The matrix is nonnegatively definite, then V must be get the minimum: 由于矩陣 非負(fù)定（等價于 非奇異），所以 V 有一最小值： Chapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 14 1?? Y1???? ?1?? Y1???? ?YTT ???? ??????TYTT ???? ? 1)(???? YTT ???? ?? ??T??YTT ???? ? 1)(???????? ?????????????? TTTTTTTT YYYYYYEEV )()(2??T??T ??T At , let , then: 當(dāng) 時， 即 （ ） When is in existence, we have： 只要 存在，即有 （ ） Example ： Least squares estimation of Example 例 The observation value can be formed a data vector as follows: 原實測數(shù)據(jù)可以構(gòu)成如下數(shù)據(jù)向量 Chapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 15 ?? ???????? TT YV 222?? ?? 0????VYTT ???? ???? ?? 0????V1)( ???T 1)( ???TYTT ???? ? 1)(??)()()2()1()( kkkbukayky Tk ???? ????????)]2(),1([ ???? kukyTk?Tba ],[?? ┇ ┇ In fact, least squares estimation can be used when experiment data is fitted by a model, which is in a linear recursive form . 實際上，只要是用一個模型來擬合實驗數(shù)據(jù)，而該模型又可以寫成線性回歸形式 ，就可以用最小二乘法求解。 Chapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 16 ][1 ???T? )1( ??y][2 ?T? )2( ?y][8 ?T?][9 ??T?)8( ??y?????????? ???????????????81???TT????????????????????????????)8()1(??yyyyba TT ??????????? ? 1)(?????? ??? Ty?? ??? TyChapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 17 Least Squares Estimation (LSE) of ARMA Model Parameters 最小二乘估計 () Rewrite it in difference equation: 寫成差分方程 () That is: 即 () ? ? )()()()( 11 kekuqBqkyqA m ?? ???aa nn qaqaqA ??? ???? ?111 1)(bb nn qbqbbqB ??? ???? ?1101 )()()()1()()()1()(101kenmkabmkabmkabnkyakyakybnanba?????????????????)()()()(01keimkubikyaky ba niinii ??????? ????Chapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 18 Suppose na=nb=n. We measure N times (set k=n+1,n+2,…n+N) 假定 na=nb=n，進(jìn)行 N次測量（令 k=n+1,n+2,…n+N ），則 Rewrite it in matrix equation: 寫成矩陣形式 () Here: 式中 ???????????????????????????????????????????????????)()()()()1()()2()2()2()2()1()2()1()1()1()1()()1(010101NneNmubNmnubNyaNnyaNnynemubmnubyanyanynemubmnubyanyanynnnnnn???????? ???Y),,( 1021 nnT bbbaaa ???????????????????????????????????????)(,),(),(),1()2(,),2(),2(,),1()1(,),1(),1(,),(),(NmuNmnuNyNnymumnuynymumnuynyuy???????Chapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 19 The least squares estimation is : 最小二乘估計為： Statistical Characteristics of Least Squares Estimation (LSE) 最小二乘估計的統(tǒng)計特性 ? Unbiased Estimation: An estimator is called unbiased Estimator if its mathematical expectation is equal of the real value of the estimated variable. 無偏性 ：稱某一估計是一個無偏的估計，它的數(shù)學(xué)期望應(yīng)等于被估計量的真值。 In LSE: ?????????????)()1(NnynyY ??????????????)()1(Nnene??YT ???? ?? 1)(?YTT ???? ?? 1)(??? ???YChapter 3 System Identification and Parameter Estimation 第三章 系統(tǒng)辨識與參數(shù)估計 20 Then its mathematical expectation: 兩邊取數(shù)學(xué)期望： When is white noise, the right second item is zero. ? Efficient Estimation: For a unbiased Estimation, it is called Efficient Estimation if the variance of any other estimator is bigger than its. 有效性 ：對無偏估計而言，一個估計算法稱為有效的算法，就是任一種其它算法所得到的估計的方差都要比有效算法所得到的估計的方差大（即方差最?。?。 In LSE: )()( 1 ??? ?????? ?? TT?? TT ?????