【正文】 。 9) 隨機(jī)向量的線性變換：若 y(?)=Ax (?)，則?y(t)=A?x(t)和 Ry= ARxAH 10) 高斯白噪聲的統(tǒng)計(jì)特性： ?x(t)=0， Rx(0)=?2I 11) L2空間的元素序列 xn收斂于極限 x意味著 ||xnx||?0，即 E((xnx)H(xnx))?0。 Cx(t, t+?)=Rx(t, t+?)為 x的自協(xié)方差矩陣。Rx(t,t+?)=E(x(t,?)xH(t+?,?))為 x的自相關(guān)矩陣， x平穩(wěn)時， ?x(t)=?x和 Rx(t, t+?)=Rx(?)。這樣， 最小||e||22既可指最小均方誤差，也可指最小二乘誤差 。 3) 其中，起重要作用的是具有有限二階矩的隨機(jī)變量的 Hilbert空間 L2=L2(?， F ， P) ，簡稱為 L2空間． L2空間（續(xù)） 4) L2空間中的任何兩個隨機(jī)變量 x (?)和 y(?)的內(nèi)積定義為 (x, y)=E(xHy) 。 ?? ????? ?? 110011),( yxyxyxyx???????? ? ?? 21202 12 ),(|||| xxxxxx????????kkjk exF?? )(L2空間 1) 概率論中，稱 ?為基本事件、 A(?F)為事件， F是事件的全體， P(A)稱為事件的概率，這樣可定義概率空間 (?， F ， P)。平方可和空間也是 Hilbert空間，離散時間傅里葉變換。 注意如果考慮復(fù)數(shù)值函數(shù) ， 則傅里葉變換為該空間上的一個線性變換 ，且是一一對應(yīng)的 ， 即傅里葉變換是一個同構(gòu) 。 dttgtfgf ba )()(),( ?????? ? ba dttffff 222 |)(|),(||||平方可積空間例 ? L2(0,2?)空間可以看做為周期函數(shù)構(gòu)成的空間 ， 其標(biāo)準(zhǔn)正交基為 {sin(nt),cos(nt)}， 任何一個函數(shù)在該基底下的坐標(biāo)為其對應(yīng)的傅里葉系數(shù) 。 記為 L2(a,b)。因此 n維歐式空間是 Hilbert空間的特例。 HnnnnnnHUbbbbbbUAA?????????????????????????????????????????221121212121附： Hilbert空間 ? 定義： 完備的內(nèi)積空間稱為 Hilbert空間。 HHA A A A?1111???????證明 : 首先假設(shè)矩陣 A是正規(guī)矩陣，對于 A存在酉矩陣U，使得 HnnnUbbbUA????????????????????221121HnnnnnnHUbbbbbbUAA?????????????????????????????????????????212121221121由 AAH=AHA可得： b12=b13=…=b n1,n=0，即 A與對角矩陣相似，必要性得證。 例 : 為實(shí)正規(guī)矩陣。取 k階矩陣 A的一個特征值 λ1，對應(yīng)的單位特征向量為 α1，構(gòu)造以 α1為第一列的 k階酉矩陣 1 1 2[ , , , ]kU ? ? ??1 1 21 1 2[ , , , ][ , , , ]kkA U A A AAA? ? ?? ? ? ???因此 1 2 1 3 1 11 1 210[ , , , ]0kka a aAUA?? ? ??????????其中 A1是 k1階矩陣，根據(jù)歸納假設(shè)，存在 k1階酉矩陣 W滿足 11HW A W R?(上三角矩陣 ) 因?yàn)? 構(gòu)成 Ck的一個標(biāo)準(zhǔn)正交基，故 12, , , k? ? ?1( 2 , 3 , , )ki i j jjA a i k??????那么 1 2 1 12 1 1 2100kHHbbU U A U UR??????????????令 U=U1U2，則 UHAU為上三角矩陣，定理得證。 A的階數(shù)為 1時定理顯然成立。 , ( )n n n nA B C R??? 或 nnUU ?? ()nnE ?或11 ()HTU A U U A U B U A U U A U B??? ? ? ?或Schur引理與正規(guī)矩陣 定理 (Schur引理 )： 任何一個 n階復(fù)矩陣（實(shí)矩陣） A酉相似（正交相似）于一個上 (下 )三角矩陣。 , V???證明：設(shè) σ在 標(biāo)準(zhǔn)正交基下對應(yīng)的矩陣為 A，向量 α和 β的坐標(biāo)為列向量 X1和 X2， 則 的坐標(biāo)分別為 AX1和 AX2，于是有 )(),( ????2121 )()),(( XAXXAX TTT ?????2121 )())(,( AXXAXX TT ?????))(,()),(( ?????? ?AAT ?酉空間 ? 酉空間的定義 ： 設(shè) V是復(fù)數(shù)域 C上的 n維線性空間，對于 V中的任意兩個向量 α、 β, 按照某一確定法則對應(yīng)著一個復(fù)數(shù)，這個復(fù)數(shù)為 α與 β的 內(nèi)積 ，記為 (α,β)，并且要求內(nèi)積滿足下列運(yùn)算條件： 我們稱帶有這樣內(nèi)積的線性空間為酉空間 。 定義 ： 設(shè) V是一個 n維歐氏空間 ,σ是 V的一個線性變換，如果對任意的 都有 對稱變換與對稱矩陣 則稱 σ是 V的一個 對稱變換 。 例： 22022( 1 ) 1 0 022022?????????????????2 1 23 3 32 2 1( 2 )3 3 31 2 23 3 3?????????????????????c o s s i n( 3 )s i n c o s???????????設(shè) ，那么 , nnA B E ??正交矩陣的性質(zhì) 1( 1 )( 2 ) d e t( ) 1( 3 ) ,T n nnnA A EAA B B A E????????定理 ： 設(shè) A∈ Rn n ， A是一個正交矩陣的充分必要條件為 A的 n 個列（或行）向量組是標(biāo)準(zhǔn)正交向量組。 ),())(),(( ?????? ?定理 ： 線性變換 σ 是正交變換的充分必要條件是：任意的 都有 , V?? ?( ( ) , ( ) ) ( , )? ? ? ? ? ??證明：必要性，設(shè) σ是正交變換， ，則有 , V?? ?))()(),()(())(),(( ?????????????? ?????))(),(())(),((2))(),(( ???????????? ???),(),(2),(),( ?????????? ?????于是有 充分性：取 立即可得 σ為正交變換。( , ) 3 3 31 2 1, , , 06 6 62 1 4 3,30 30 30 3XXX???????????????? ? ? ? ???????? ? ???????? ? ? ?????即為其解空間的一個標(biāo)準(zhǔn)正交基底。為此令： 則矩陣 B=AAT為正定實(shí)對稱矩陣，因此存在正交矩陣 P，使得 ????????????100101010011A??????????????6/56/16/12/16/16/56/12/16/16/16/52/1???????????????211121112B TPP???????????400010001APPABC T?????????????2/10000001211 2 3 41 2 3 41 2 3 402 3 4 02 3 4 5 0x x x xx x x xx x x x? ? ? ?? ? ? ?? ? ? ?其解空間的一個標(biāo)準(zhǔn)正交基底。 ? ?1 2 3,? ? ?以上正交化方法的結(jié)果與向量的次序有關(guān)。 例 1 運(yùn)用正交化與單位化過程將向量組 化為標(biāo)準(zhǔn)正交向量組。 ? ?i? ? ?i?標(biāo)準(zhǔn)正交基底 定理 ：向量組 為正交向量組的充分必要條件是 向量組 為標(biāo)準(zhǔn)正交向量組的充分必要條件是 ? ?i?( , ) 0 ,ij ij?? ??? ?i?1( , )0i j i jijij? ? ?????? ??定理 ：由一個線性無關(guān)的向量組出發(fā)可以構(gòu)造一個正交向量組，甚至是一個標(biāo)準(zhǔn)正交向量組。 定義 ：在 n 維內(nèi)積空間中，由 n 個正交向量組成的基底稱為正交基底；由 n 個標(biāo)準(zhǔn)的正交向量組成的基底稱為標(biāo)準(zhǔn)正交基底。 命題 正交向量組一定是線性無關(guān)向量組。 定義 ： 長度為 1的向量稱為單位向量，對于任何一個非零的向量 ，向量 總是單位向量，稱此過程為 單位化 。 例 2： 設(shè) C[a,b]表示閉區(qū)間 [a,b]上的所有連續(xù)實(shí)函數(shù)組成的線性空間，證明對于任意的 f(x), g(x)∈ C[a,b]，我們有 證明：由于 為線性空間 C[a,b]上的內(nèi)積，由內(nèi)積基本性質(zhì)可得上式。 ( , ) : ( ) ( )baf g f x g x d x? ?1111( 1 ) ( , ) ( , )( 2 ) ( , ) ( , ) ( , )( 3 ) ( , ) ( , )( 4 ) ( , ) ( , )tti i i iiitti i i iiikkkkkk? ? ? ?? ? ? ? ? ? ?? ? ? ?? ? ? ??????? ? ???????Euclid空間的性質(zhì) 有限維線性歐氏空間 ? 設(shè)實(shí)數(shù)域上有限維線性空間 V的基底為 ， 設(shè)向量 x與 y在此基底下的表達(dá)式如下 },{ 21 n??? ?nnxxxx ??? ???? ?2211nnyyyy ??? ???? ?2211 則 x與 y的內(nèi)積可以表示如下 ),(),(11?????njjjniii yxyx ??? ?? ??ninjjiji yx1 1),( ??),( jiija ???令? ??????????????????????????nnnnnnnnyyyaaaaaaaaaxxx?????????2121222211121121 取 即 A為實(shí)對稱矩陣，而且 (x,x)0表明 A為正定的。 例 2 在 mn維線性空間 Rm n中，規(guī)定 容易驗(yàn)證這是 Rm n上的一個內(nèi)積，這樣 Rm n對于這個內(nèi)積成為一個歐氏空間。 當(dāng)且僅當(dāng) α=0時內(nèi)積為零 例 1 在 Rn中，對于 規(guī)定 容易驗(yàn)證 ( , )是 Rn上的一個內(nèi)積，從而 Rn成為一個歐氏空間。 （ 3）該矩陣的 Jordan標(biāo)準(zhǔn)形為 2(