小二乘法ppt課件(已修改)
2025-05-11 01:03 本頁面
【正文】 第 5章 線性參數(shù)的最小二乘法處理 最小二乘法是用于數(shù)據(jù)處理和誤差估計(jì)中的一個(gè)很得力的數(shù)學(xué)工具。對(duì)于從事精密科學(xué)實(shí)驗(yàn)的人們說來，應(yīng)用最小二乘法來解決一些實(shí)際問題，仍是目前必不可少的手段。 第一節(jié) 最小二乘法原理 ? 最小二乘法的發(fā)展已經(jīng)歷了 200多年的歷史，它最早起源于天文和大地測(cè)量的需要，其后在許多科學(xué)領(lǐng)域里獲得了廣泛應(yīng)用。特別是近代矩陣?yán)碚撆c電子計(jì)算機(jī)相結(jié)合。使最小二乘法不斷地發(fā)展而久盛不衰。? 最小二乘法的產(chǎn)生是為了解決從一組測(cè)量值中尋求最可信賴值的問題。 一、 問題背景 ? 在測(cè)量的實(shí)驗(yàn)數(shù)據(jù)處理中，經(jīng)常需要根據(jù)兩個(gè)量的一批觀測(cè)數(shù)據(jù) (xi， yi)， i=1， 2， … ， n求出這兩個(gè)變量 Y與 X之間所滿足的一個(gè)函數(shù)關(guān)系式 Y＝f(X)。? 若變量間的函數(shù)形式根據(jù)理論分析或以往的經(jīng)驗(yàn)已經(jīng)確定好了，而其中有一些參數(shù)是未知的，則可通過觀測(cè)的數(shù)據(jù)來確定這些參數(shù)；? 若變量間的具體函數(shù)形式尚未確定，則需要通過觀測(cè)數(shù)據(jù)來確定函數(shù)形式及其中的參數(shù)。 一、 問題背景? 在多數(shù)估計(jì)和曲線擬合的問題中，不論是參數(shù)估計(jì)還是曲線擬合，都要求確定某些 (或一個(gè))未知量，使得所確定的未知量能最好地適應(yīng)所測(cè)得的一組觀測(cè)值，即對(duì)觀測(cè)值提供一個(gè)好的擬合。? 解決這類問題最常用的方法就是最小二乘法。? 在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法也可使用。 設(shè) X和 Y兩個(gè)物理量之間的函數(shù)關(guān)系為假定此函數(shù)關(guān)系 f已知，但其中 a1， a2， … ， ak等參數(shù)還未求出，現(xiàn)對(duì)于 X和 Y有一批觀測(cè)數(shù)據(jù)： {xi， yi} ， i＝ 1， 2， …,n ，要利用這批數(shù)據(jù)在一定法則之下作出這些參數(shù) a1， a2， … ， ak的估計(jì)。 假設(shè)諸觀測(cè)值相互獨(dú)立且服從正態(tài)分布。在等精度觀測(cè)的情況下，即認(rèn)為各誤差服從相同的正態(tài)分布 N(0， σy)。 現(xiàn)在的問題是一個(gè)參數(shù)估計(jì)問題：需要給出 a1， a2， … ，ak的估計(jì)值 ， ， … ， 。 解決這類問題最常用的方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法也可使用。 一般根據(jù)測(cè)量的實(shí)際情況，可假設(shè)變量 X的測(cè)量沒有誤差 (或與 Y的誤差相比很小，可略去 )，而變量 Y的測(cè)量有誤差，故關(guān)于 Y的觀測(cè)值 yi可以寫成這里 y0i表示 xi對(duì)于的 Y的變量真值， △ i表示相應(yīng)的測(cè)量誤差。 二、最小二乘法準(zhǔn)則與正規(guī)方程 在參數(shù)估計(jì)問題中， 最小二乘法的法則 是： 所選取的參數(shù)估計(jì)值 ， ， … ， 應(yīng)使變量 Y的諸觀測(cè)值 yi與其真值的估計(jì)值 (又叫擬合值 )，即 f(xi； a1,a2， … ak)之差的平方和為最小。 用式子表示時(shí)，記殘差 νi為最小二乘法就是要求 =最小在這個(gè)條件下，利用數(shù)學(xué)中求極值的方法可以求出參數(shù) ， ， … ， 。這樣求出的參數(shù)叫參數(shù)的最小二乘估計(jì)。 正規(guī)方程 ? 根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件： =最小共得 k個(gè)方程，稱 正規(guī)方程 ，求此聯(lián)立方程的解可得出諸參數(shù)估計(jì)值 (j＝ 1， 2， … ， k)。不等精度情況下的最小二乘法 以上是等精度觀測(cè)的情況，若諸觀測(cè)值 yi是不等精度的觀測(cè)，即它們服從不同的方差 σi2的正態(tài)分布 N(0， 1)，那么也不難證明，在這種情況下，最小二乘法可改為： 選取的參數(shù)估值應(yīng)使諸觀測(cè)值 yi與其估計(jì)值 之差的加權(quán)平方和為最小。用式子表示就是要使
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1