【正文】 出，…，的唯一的一組解，就是，…，的最小二乘估計[8]。 最小二乘估計的矩陣形式 引進參數(shù)估計量，解釋變量回歸值和回歸殘差的下列向量表示： ， ， ()把樣本數(shù)據(jù)分別帶入樣本回歸方程，得到回歸方程組為： , () 寫成等價的向量方程，則為：這樣回歸殘差向量為：在利用向量，矩陣的運算法則，可以得到殘差平方和為=求對，…，的偏導數(shù)，等價于對向量求梯度，因此最小二乘估計的正規(guī)方程組為：整理得到矩陣 形式：當可逆，也就是是滿秩矩陣，在上述向量方程兩端左乘的逆矩陣，得到： ()這就是多元線性回歸模型最小二乘估計的矩陣一般形式。 最小二乘估計量的性質(zhì) (1)線性性： 多元線性回歸模型參數(shù)的最小二乘估計向量為：，各個參數(shù)的最小二乘估計向量為，其中的是矩陣的+1行元素構(gòu)成的行向量，上式對=1，…，K都成立，正是被解釋變量觀測值的線性組合，也就是多元線性回歸參數(shù)的最小二乘估計是線性估計。 (2)無偏性： 多元線性回歸的最小二乘估計也是無偏估計，即參數(shù)最小二乘估計量的數(shù)學期望都等于相應(yīng)參數(shù)的真實值，最小二乘估計向量的數(shù)學期望等于參數(shù)真實值的向量，參數(shù)真實值是參數(shù)估計量的概率分布中心。 (3)最小方差性： 根據(jù)最小二乘估計公式和模型假設(shè)，可以直接導出包含各個參數(shù)估計量方差和不同參數(shù)估計量協(xié)方差的，參數(shù)估計向量的協(xié)方差矩陣為： () 回歸擬合度評價和決定系數(shù) 離差分解和決定系數(shù) 判斷回歸結(jié)果好壞基本標準，是回歸直線對樣本數(shù)據(jù)的逆合程度，稱為“擬合度”?；貧w直線的逆合度一方面取決于回歸直線的選擇，這就是由參數(shù)估計方法決定的，另一方面則取決于樣本數(shù)據(jù)的分布。當參數(shù)估計方法固定時，主要取決于樣本數(shù)據(jù)的分布。 樣本數(shù)據(jù)的分布在本質(zhì)上是由變量關(guān)系決定的。因此回歸擬合度也是檢驗模型變量關(guān)系真實性，判斷模型假設(shè)是否成立的重要方法。擬合度較好是對模型的支持，否則，可能意味著必須對模型進行修改。 首先需要從Y的離差中分離出由解釋變量決定的部分，因變量的實際觀測值與其樣本均值的離差即總離差（）可以分解為兩部分：一部分是因變量的理論回歸值與其樣本均值的離差（）， 它可以看成是能夠由回歸直線解釋的部分，稱為可解釋離差；另一部分是實際觀測值與理論回歸值的離差（），它是不能由回歸直線加以解釋的殘差。 對任一實際觀測值Y總有： () 對公式（）兩邊平方并求和并計算，可得到： 根據(jù)最小二乘估計和回歸殘差的相關(guān)公式，所有的離差的平方和記為=稱為“總離差平方和”，而記為稱為“殘差平方和”， 記為稱為“回歸平方和”。 式（）兩邊同除以，得： () 顯而易見，各個樣本觀測點與樣本回歸直線靠的越近，在中所占的比重就越大。（）式中的正是反映解釋變量（或回歸直線）對被解釋變量決定程度的指標，我們稱它為“決定系數(shù)”（determined coefficient），通常用表示。計算公式為： 決定系數(shù)的性質(zhì)及修正可決系數(shù)決定系數(shù)是對回歸模型擬合程度的綜合度量，決定系數(shù)越大，模型擬合程度越高。決定系數(shù)越小，則模型對樣本的擬合程度越差。決定系數(shù)具有如下性質(zhì)：(1) 決定系數(shù)具有非負性。由決定系數(shù)的定義式可知，的分子分母均是不可能為負值的平方和，因此其比值必大于零。(2) 判定系數(shù)的取值范圍為01。由的計算公式可以看出：當所有的觀測值都位于回歸直線上時，=0，這時=1，說明總離差可以完全由所估計的樣本回歸直線來解釋；當觀測值并不是全部位于回歸直線上時， 0，則／0，這時1；當回歸直線沒有解釋任何離差，即模型中解釋變量與因變量完全無關(guān)時，的總離差全部歸于殘差平方和，即＝，這時＝0。(3) 判定系數(shù)是樣本觀測值的函數(shù)，它也是一個統(tǒng)計量。判定系數(shù)的大小受到自變量的個數(shù)k的影響。可以證明，增加自變量的個數(shù)，回歸平方和增大，從而使得增大。由于增加自變量個數(shù)引起的增大與擬合好壞無關(guān)，在含自變量個數(shù)k 不同的模型之間比較擬合程度時，就不是一個合適的指標，必須加以調(diào)整。調(diào)整方法為：把殘差平方和與總離差平方和之比的分子分母分別除以各自的自由度，變成均方差之比，以剔除自變量個數(shù)對擬合優(yōu)度的影響。調(diào)整的判定系數(shù)為： () 用這個調(diào)整的決定系數(shù)作為評價多元線性回歸擬合度的評價標準，可以基本消除由于解釋變量數(shù)目的差異所造成的影響，更加合理和具有可比性。 統(tǒng)計檢驗（檢驗） 先要找出回歸系數(shù)的分布，由上述知識得知： ()其中為的第j行j列的元素。將標準化。一般有未知，用代替，得統(tǒng)計量，以下可用統(tǒng)計量來進行回歸系數(shù)的假設(shè)檢驗。同一元線性回歸一樣，要檢驗解釋變量對因變量的線性作用是否顯著，要使用檢驗。步驟如下：(1) 提出假設(shè)。 , ,(2) 在成立條件下，根據(jù)樣本計算 (3) 給定顯著性水平，查表得臨界值(4) 判斷若，就拒絕，對有顯著線性作用；若，就接受，對線性作用不顯著。（檢驗）多元線性回歸模型還可以進行模型總體顯著性檢驗，也就是全體解釋變量總體對被解釋變量是否存在明顯影響的檢驗，回歸顯著性檢驗的基本方法，是檢驗模型常數(shù)項以外所有參數(shù)同時為0的假設(shè)，使用檢驗。步驟如下：(1) 提出假設(shè)。 不全為0(2) 選擇、（根據(jù)樣本）計算統(tǒng)計量(3) 給定顯著性水平，查表，得(4) 判斷若，就拒絕，回歸方程顯著成立，所有自變量對Y 的影響是顯著的；若，就接受，回歸方程不顯著，所有自變量對Y 的線性作用不顯著。 多重共線性檢驗在多元線性回歸模型中，對的基本假定是：矩陣的各列向量之間是線性無關(guān)的，即有：如果這一假定不滿足，則稱模型存在多重共線性。多重共線性表現(xiàn)為兩種情況： (1) 完全多重共線性：，也就是，不存在。(2) 不完全多重共線性：（實際中多為此情況），對角線元素較大。而一般產(chǎn)生多重共線性的背景為：（1）時間序列數(shù)據(jù)中經(jīng)濟變量在時間上常有共同的變動趨勢；（2）經(jīng)濟變量之間本身具有內(nèi)在聯(lián)系（常在截面數(shù)據(jù)中出現(xiàn)）；（3）由于某種決定性因素的影響可能使各個變量向著同方向變化；（4）滯后變量引入模型，同一變量的逐次值一般都存在相互關(guān)系；多重共線性的檢驗方法有：（1）簡單相關(guān)系數(shù)矩陣法（輔助手段） 此法簡單易行；但要注意兩變量的簡單相關(guān)系數(shù)包含了其他變量的影響，并非它們真實的線性相關(guān)程度的反映；。（2）變量顯著性與方程顯著性綜合判斷； （修正）可決系數(shù)大，值顯著大于臨界值，而值不顯著；那么可認為存在多重共線性。（3）輔助回歸： 將每個解釋變量對其余變量回歸，若某個回歸方程顯著成立，則該解釋變量和其余變量有多重共線性。 多重共線性的克服和處理方法有：截面數(shù)據(jù)和時序數(shù)據(jù)結(jié)合，有時在時間序列數(shù)據(jù)中多重共線性嚴重的變量，在截面數(shù)據(jù)中不一定有嚴重的共線性。在假定截面數(shù)據(jù)估計出的參數(shù)在時間序列數(shù)據(jù)中變化不大的前提下，可先用截面數(shù)據(jù)估計出一些變量的參數(shù)，再代入原模型估計另一些變量的參數(shù)。 變換模型形式（差分法）: 假設(shè)和存在高度線性相關(guān)。 設(shè)原模型為： 將其滯后一期： 將上述兩式相減，得： 則上述差分式子變成： 差分后，和的共線性將明顯減弱。 異方差檢驗在回歸模型的假設(shè)得到滿足之后，用最小二乘法估計的模型參數(shù)具有無偏和方差在線性無偏估計方法中最小的有效性，在這些假設(shè)中，其中有一條是誤差項的方差不變。如果誤差項的方差隨觀測次數(shù)的改變而改變，或隨解釋變量增減而變化，則稱回歸模型中存在異方差。異方差可以表示為或其中異方差的的發(fā)現(xiàn)和檢驗方法有戈德菲爾德夸特檢驗：構(gòu)造統(tǒng)計量： .如果，誤差項存在明顯的遞增異方差性；如果