(真正的好東西)偏最小二乘回歸=多元線性回歸分析典型相關(guān)分析主成分分析-文庫吧
2025-06-14 07:12 本頁面
【正文】 同理,可得 (19) 可見,是矩陣的特征向量,它要求取最大值,所以, , 是對應(yīng)于矩陣最大特征值的單位特征向量.求得軸和后,即可得到成分 然后,分別求和對,的三個(gè)回歸方程 (110) (111) (112)式中,回歸系數(shù)向量是 (113) (114) (115)而,分別是三個(gè)回歸方程的殘差矩陣.第二步 用殘差矩陣和取代和,然后,求第二個(gè)軸和以及第二個(gè)成分,有 = = 是對應(yīng)于矩陣最大特征值的特征值, 因此,有回歸方程 如此計(jì)算下去,如果的秩是,則會有 （116） （117）由于,均可以表示成的線性組合,因此,式(117)還可以還原成關(guān)于的回歸方程形式，即 k=1,2,…,q是殘差距陣的第k列。下面要討論的問題是在現(xiàn)有的數(shù)據(jù)表下,如何確定更好的回歸方程。在許多情形下,偏最小二乘回歸方程并不需要選用全部的成分進(jìn)行回歸建模,而是可以象在主成分分析一樣,采用截尾的方式選擇前m 個(gè)成分,僅用這m 個(gè)后續(xù)的成分就可以得到一個(gè)預(yù)測性較好的模型。事實(shí)上,如果后續(xù)的成分已經(jīng)不能為解釋提供更有意義的信息時(shí),采用過多的成分只會破壞對統(tǒng)計(jì)趨勢的認(rèn)識,引導(dǎo)錯(cuò)誤的預(yù)測結(jié)論。在多元回歸分析一章中,我們曾在調(diào)整復(fù)測定系數(shù)的內(nèi)容中討論過這一觀點(diǎn)。下面的問題是怎樣來確定所應(yīng)提取的成分個(gè)數(shù)。在多元回歸分析中,曾介紹過用抽樣測試法來確定回歸模型是否適于預(yù)測應(yīng)用。我們把手中的數(shù)據(jù)分成兩部分:第一部分用于建立回歸方程,求出回歸系數(shù)估計(jì)量,擬合值以及殘差均方和。再用第二部分?jǐn)?shù)據(jù)作為實(shí)驗(yàn)點(diǎn),代入剛才所求得的回歸方程,由此求出。一般地,若有,則回歸方程會有更好的預(yù)測效果。若 ,則回歸方程不宜用于預(yù)測。在偏最小二乘回歸建模中,究竟應(yīng)該選取多少個(gè)成分為宜,這可通過考察增加一個(gè)新的成分后,能否對模型的預(yù)測功能有明顯的改進(jìn)來考慮。采用類似于抽樣測試法的工作方式,把所有n個(gè)樣本點(diǎn)分成兩部分:第一部分除去某個(gè)樣本點(diǎn)的所有樣本點(diǎn)集合(共含n1個(gè)樣本點(diǎn)),用這部分樣本點(diǎn)并使用h個(gè)成分?jǐn)M合一個(gè)回歸方程。第二部分是把剛才被排除的樣本點(diǎn)代入前面擬合的回歸方程,得到在樣本點(diǎn)上的擬合值。對于每一個(gè)=1,2,…,n,重復(fù)上述測試,則可以定義的預(yù)測誤差平方和為,有 (118)定義Y 的預(yù)測誤差平方和為,有 (119)顯然,如果回歸方程的穩(wěn)健性不好,誤差就很大,它對樣本點(diǎn)的變動(dòng)就會十分敏感,這種擾動(dòng)誤差的作用,就會加大的值。另外,再采用所有的樣本點(diǎn),擬合含h 個(gè)成分的回歸方程。這是,記第個(gè)樣本點(diǎn)的預(yù)測值為,則可以記的誤差平方和為,有 (120)定義Y的誤差平方和為,有 (121)一般說來,總是有大于,而則總是小于。下面比較和。是用全部樣本點(diǎn)擬合的具有h1個(gè)成分的方程的擬合誤差。 增加了一個(gè)成分,但卻含有樣本點(diǎn)的擾動(dòng)誤差。如果h個(gè)成分的回歸方程的含擾動(dòng)誤差能在一定程度上小于(h1)個(gè)成分回歸方程的擬合誤差,則認(rèn)為增加一個(gè)成分,會使預(yù)測結(jié)果明顯提高。因此我們希望的比值能越小越好。在SIMCAP軟件中,指定即時(shí),增加成分就是有益的。或者反過來說,當(dāng)時(shí),就認(rèn)為增加新的成分,對減少方程的預(yù)測誤差無明顯的改善作用.另有一種等價(jià)的定義稱為交叉有效性。對每一個(gè)變量,定義
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1