(真正的好東西)偏最小二乘回歸=多元線性回歸分析典型相關(guān)分析主成分分析-展示頁
2025-07-08 07:12本頁面
【正文】 (，…，)。若最終對(duì) X共提取了 m個(gè)成分，…，偏最小二乘回歸將通過實(shí)施 對(duì)，…， 的回歸,然后再表達(dá)成關(guān)于原變量，…， 的回歸方程,k=1,2,…,q 。如果回歸方程已經(jīng)達(dá)到滿意的精度，則算法終止；否則,將利用 X被解釋后的殘余信息以及Y 被 解釋后的殘余信息進(jìn)行第二輪的成分提取。這兩個(gè)要求表明，和 應(yīng)盡可能好的代表數(shù)據(jù)表X和Y,同時(shí)自變量的成分 對(duì)因變量的成分 又有最強(qiáng)的解釋能力。偏最小二乘回歸分別在X與Y中提取出成分 和 (也就是說, 是 的線形組合, 是 的線形組合).在提取這兩個(gè)成分時(shí),為了回歸分析的需要,有下列兩個(gè)要求:(1) 和應(yīng)盡可能大地?cái)y帶他們各自數(shù)據(jù)表中的變異信息。一、 偏最小二乘回歸的建模策略\原理\方法設(shè)有 q個(gè)因變量{}和p自變量{}。在一次偏最小二乘回歸分析計(jì)算后，不但可以得到多因變量對(duì)多自變量的回歸模型，而且可以在平面圖上直接觀察兩組變量之間的相關(guān)關(guān)系，以及觀察樣本點(diǎn)間的相似性結(jié)構(gòu)。（3）偏最小二乘回歸之所以被稱為第二代回歸方法，還由于它可以實(shí)現(xiàn)多種數(shù)據(jù)分析方法的綜合應(yīng)用。變量多重相關(guān)問題十分復(fù)雜，長(zhǎng)期以來在理論和方法上都未給出滿意的答案，這一直困擾著從事實(shí)際系統(tǒng)分析的工作人員。最典型的問題就是自變量之間的多重相關(guān)性。（2）偏最小二乘回歸可以較好地解決許多以往用普通多元回歸無法解決的問題。密西根大學(xué)的弗耐爾教授稱偏最小二乘回歸為第二代回歸分析方法。 偏最小二乘回歸是一種新型的多元統(tǒng)計(jì)數(shù)據(jù)分析方法，它與1983年由伍德和阿巴諾等人首次提出。近十年來，它在理論、方法和應(yīng)用方面都得到了迅速的發(fā)展。偏最小二乘回歸方法在統(tǒng)計(jì)應(yīng)用中的重要性主要的有以下幾個(gè)方面：（1）偏最小二乘回歸是一種多因變量對(duì)多自變量的回歸建模方法。在普通多元線形回歸的應(yīng)用中，我們常受到許多限制。如果采用普通的最小二乘方法，這種變量多重相關(guān)性就會(huì)嚴(yán)重危害參數(shù)估計(jì)，擴(kuò)大模型誤差，并破壞模型的穩(wěn)定性。在偏最小二乘回歸中開辟了一種有效的技術(shù)途徑，它利用對(duì)系統(tǒng)中的數(shù)據(jù)信息進(jìn)行分解和篩選的方式，提取對(duì)因變量的解釋性最強(qiáng)的綜合變量，辨識(shí)系統(tǒng)中的信息與噪聲，從而更好地克服變量多重相關(guān)性在系統(tǒng)建模中的不良作用。偏最小二乘回歸=多元線性回歸分析+典型相關(guān)分析+主成分分析由于偏最小二乘回歸在建模的同時(shí)實(shí)現(xiàn)了數(shù)據(jù)結(jié)構(gòu)的簡(jiǎn)化，因此，可以在二維平面圖上對(duì)多維數(shù)據(jù)的特性進(jìn)行觀察，這使得偏最小二乘回歸分析的圖形功能十分強(qiáng)大。這種高維數(shù)據(jù)多個(gè)層面的可視見性，可以使數(shù)據(jù)系統(tǒng)的分析內(nèi)容更加豐富，同時(shí)又可以對(duì)所建立的回歸模型給予許多更詳細(xì)深入的實(shí)際解釋。為了研究因變量和自變量的統(tǒng)計(jì)關(guān)系,我們觀測(cè)了n個(gè)樣本點(diǎn),由此構(gòu)成了自變量與因變量的數(shù)據(jù)表X={}={}。(2) 與 的相關(guān)程度能夠達(dá)到最大。在第一個(gè)成分和 被提取后，偏最小二乘回歸分別實(shí)施X 對(duì) 的回歸以及 Y對(duì) 的回歸。如此往復(fù)，直到能達(dá)到一個(gè)較滿意的精度為止。為了數(shù)學(xué)推導(dǎo)方便起見,首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。第一步 記是的第一個(gè)成分，是的第一個(gè)軸，它是一個(gè)單位向量，既||||=1。 是的第一個(gè)軸，并且||||=1。如果采用拉格朗日算法，記s=－ (－1)－ (－1)對(duì)s分別求關(guān)于，和的偏導(dǎo)并令之為零，有 = －=0 (1 2) = －=0 (13) =－(－1)=0 (14) =－(－1)=0 (15)由式(12)~(15),可以推出記,所以,正是優(yōu)化問題的目標(biāo)函數(shù)值.把式(12)和式(13)寫成 (16) (17)將式(17)代入式(16),有 (18) 同理,可得 (19) 可見,是矩陣的特征向量,它要求取最大值,所以, , 是對(duì)應(yīng)于矩陣最大特征值的單位特征向量.求得軸和后,即可得到成分 然后,分別求和對(duì),的三個(gè)回歸方程 (110)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1