【文章內(nèi)容簡介】 小二乘，嶺回歸)就可以解決問題。對于三層及以上的產(chǎn)能預(yù)測問題來說，需要建立更復(fù)雜的模型來解決問題，目前常用的數(shù)學(xué)模型包括神經(jīng)網(wǎng)絡(luò)，支持向量機，以及各種集成學(xué)習(xí)方法(randomforest，adaboost)等。本文將研究采用各種回歸預(yù)測方法來建模。 ⑸ 用得到的油田原油對數(shù)學(xué)模型進(jìn)行測試，將預(yù)測結(jié)果與生產(chǎn)數(shù)據(jù)進(jìn)行比較，檢測數(shù)學(xué)模型的可靠性及準(zhǔn)確性，并對模型進(jìn)行修正改進(jìn)。 原油色譜指紋技術(shù)應(yīng)用流程 本章小結(jié) 本章首先介紹了原油混合開采過程，及原油分層產(chǎn)能預(yù)測的基本原理。然后，重點介紹了全烴原油色譜指紋技術(shù)，包括氣相色譜技術(shù)的原理，如何進(jìn)行原油色譜指紋分析，以及原油色譜指紋如何應(yīng)用于原油分層產(chǎn)能預(yù)測。最后介紹了實現(xiàn)原油產(chǎn)能預(yù)測的具體思路和步驟。第三章 回歸預(yù)測方法研究回歸分析[3738](regression analysis)是確定兩種或兩種以上變量間相互依賴關(guān)系的一種統(tǒng)計分析方法。自從18世紀(jì)高斯首次提出最小二乘回歸方法以來，各種回歸預(yù)測方法得到了廣泛的研究。從最初的參數(shù)回歸方法，如最小二乘，偏最小二乘等到后來的神經(jīng)網(wǎng)絡(luò)，廣義可加模型(GAM)，投影追蹤回歸等非參數(shù)回歸模型，所研究的內(nèi)容已經(jīng)十分豐富，并廣泛應(yīng)用于工業(yè)、藥學(xué)、經(jīng)濟(jì)學(xué)、生命和社會科學(xué)等領(lǐng)域中。本章將介紹幾種在各個領(lǐng)域得到廣泛應(yīng)用的回歸預(yù)測方法。 最小二乘回歸 最小二乘最早是高斯(Karl Causs)于18世紀(jì)為了推算行星的軌道參數(shù)而提出。其是一種典型的參數(shù)估計方法，它使數(shù)學(xué)模型在誤差平方和最小的意義上擬合實驗數(shù)據(jù)，適用于線性模型參數(shù)的估計。 如果存在個自變量，一個因變量，它們之間呈線性關(guān)系，則應(yīng)滿足式(31)中的關(guān)系： (31) 其中為參數(shù)。如果和分別進(jìn)行次獨立觀測，得到個樣本： (32)這些樣本都符合模型(31)，于是可以得到個方程： (33) 寫成矩陣形式有：自變量，因變量，參數(shù)和。其中。 則(31)式可以寫成矩陣表示的模型。 (34)假如已經(jīng)求得回歸參數(shù)的擬合，定義模型擬合殘差為： (35)為了描述全部觀察值和回歸估計值的偏離程度，考慮殘差的平方和： (36) 可以寫成： (37) 即： (38) 最小二乘估計的目標(biāo)就是尋找當(dāng)殘差的平方和最小時，此時的。對(38)求關(guān)于的偏導(dǎo)數(shù)，并令之為零，有： (39) 對式(39)進(jìn)行求解得到最小二乘的估計量： (310) 最小二乘具有計算量小，計算速度快，且其是一種無偏估計方法。但這種計算的前提是數(shù)據(jù)是呈線性分布的，因此在數(shù)據(jù)是非線性分布的情況下仍然采用最小二乘進(jìn)行估計的話，得出的結(jié)果雖然仍具有數(shù)學(xué)意義，但沒有明確的物理意義，因此擬合的估計量置信度大大降低。 偏最小二乘 偏最小二乘(PLS)方法是由伍德()和阿巴諾()于1983年提出的一種多元統(tǒng)計數(shù)據(jù)分析方法[3940]。近幾十年來，在理論及應(yīng)用方面都得到了迅速的發(fā)展。 偏最小二乘方法的特點(1) 偏最小二乘可用來分析多自變量對多因變量的回歸問題。特別是當(dāng)兩組變量的個數(shù)很多，且因變量及自變量內(nèi)部都有較高程度的相關(guān)時，而樣本數(shù)量又比較少時，用偏最小二乘回歸建立的模型有傳統(tǒng)的經(jīng)典回歸預(yù)測方法(如最小二乘)所沒有的優(yōu)點。(2) 偏最小二乘回歸可以解決自變量之間的多重相關(guān)性。當(dāng)輸入的各個特征之間存在嚴(yán)重的相關(guān)性時，若采用最小二乘等經(jīng)典的回歸方法，則多重共線性會嚴(yán)重影響參數(shù)的準(zhǔn)確估計，擴大模型誤差并破壞模型的穩(wěn)定性。偏最小二乘采用了信息綜合和篩選技術(shù)，它不考慮自變量和因變量之間的直接回歸建模，而是先在變量中提取若干對系統(tǒng)具有最佳解釋能力的綜合變量，然后再利用這些提取出的變量進(jìn)行回歸建模。(3) 偏最小二乘在建模過程中綜合了主成分分析，典型相關(guān)分析以及多元線性回歸的特點，被稱為第二代回歸分析方法。在分析結(jié)果中，除了可以提供一個更為合理的回歸模型以外，還可以完成一些類似于主成分分析，典型相關(guān)分析的研究，提供更深入、豐富的信息。 偏最小二乘回歸建?？紤]個自變量和個因變量之間的回歸建模問題。偏最小二乘的基本思想是在自變量中提取第一成分(是的線性組合，且包含盡可能多的自變量信息)，同時在因變量中提取第一成分(是因變量的線性組合)，要求，相關(guān)程度最大，然后建立因變量和的回歸。接著繼續(xù)提取成分，并建立因變量和成分回歸式，然后轉(zhuǎn)換為和的回歸方程。 假設(shè)自變量和因變量均經(jīng)過標(biāo)準(zhǔn)化，且有個觀測樣本，有： (311) 則可通過如下步驟進(jìn)行建模：(1) 分別提取自變量和因變量的第一對主成分、并使其相關(guān)性最大。是自變量的線性組合：，是因變量的線性組合：。提取、時要求盡可能多的包含各自所在變量組的信息，且提取出的成分相關(guān)度要達(dá)到最大。由可以計算第一對成分的得分向量、如式(312)，(313)。 (312) (313)為了使、的相關(guān)度最大，可以計算它們的協(xié)方差，故而可以轉(zhuǎn)化為如(314)所示的問題： (314)利用Lagrange乘數(shù)法求取，從而可以計算出第一對成分的得分變量。(2) 建立自變量及因變量對的回歸?；貧w模型為： (315)式315中是回歸模型參數(shù)向量，是殘差矩陣，可以通過最小二乘計算得到，如式(316)： (316)(3) 用殘差矩陣代替重復(fù)以上計算步驟。記，則。用代替重復(fù)以上計算步驟繼續(xù)提取第二成分。計算得到，從而得到得分向量，以及。這時建立的回歸模型如式(317): (317)(4) 設(shè)的秩為，則可以提取出個成分，得到式(318)： (318)將代入得到個因變量的回歸方程，如式(319)。 (319)(5) 交叉有效性檢驗一般情況下，不需要采用所有成分進(jìn)行回歸建模，而只需要采用前個成分進(jìn)行回歸建模，就可以達(dá)到很好的效果。的確定通常采用交叉有效性檢驗來確定。具體思路是這樣，每次舍去第個樣本，用余下的個樣本進(jìn)行回歸建模，并用個成分?jǐn)M合回歸方程，然后把第個觀測樣本代入回歸方程，得到在第個觀測點上的預(yù)測結(jié)果。重復(fù)次以上驗證得到抽取個成分時第個因變量的預(yù)測誤差平方和： (320)因而變量總的預(yù)測平方和如式(321) (321)另外，再采用所有的觀測樣本抽取個成分?jǐn)M合回歸方程。此時的預(yù)測值為，則可定義的預(yù)測誤差平方和： (322)變量總的預(yù)測平方和為： (323)及都是越小越好，定義交叉有效性如式(324)： (324)當(dāng)時，則認(rèn)為模型達(dá)到精度要求，停止抽取成分；否則繼續(xù)第個成分的提取。通過步驟(1)(5)，最后得到如下的回歸預(yù)測模型： (325) BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)基本概念 人工神經(jīng)網(wǎng)絡(luò)是一種智能學(xué)習(xí)方法，其通過模擬人腦組織結(jié)構(gòu)和運行機制來進(jìn)行智能學(xué)習(xí)[4147]。BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是由Rumelhart和McCelland等人于1986年首次提出，是一種按照誤差逆向傳播訓(xùn)練的多層前饋網(wǎng)絡(luò)，目前已經(jīng)得到了廣泛的應(yīng)用。它的基本思想是使用最速下降法，通過反向傳播計算誤差來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由三部分組成：輸入層，隱層，輸出層，每個層上包含一些節(jié)點。輸入層及輸出層直接與外界相連，是可見層，其他的均為隱層。輸入層上的節(jié)點均為輸入節(jié)點，隱層及輸出層上的節(jié)點為計算節(jié)點。 三層BP神經(jīng)網(wǎng)絡(luò) 從圖中可以看出輸入節(jié)點只有一個輸入，而隱層及輸出層節(jié)點可以有多個輸入，所有節(jié)點均只有一個輸出，輸出可以作為下一層任何一個節(jié)點輸入的一部分。 BP反向傳播算法 對某一層的第個節(jié)點，為該節(jié)點輸出，腳標(biāo)代表前一層第個節(jié)點，腳標(biāo)代表后一層第個節(jié)點。當(dāng)有輸入時，前向計算每個節(jié)點： (326)式(326)中為節(jié)點值，是輸出計算函數(shù)，通常選擇Sigmoid函數(shù)，如式(327)，為節(jié)點輸出。 (327)定義神經(jīng)網(wǎng)絡(luò)輸出誤差平方和為： (328)為實際輸出，為神經(jīng)網(wǎng)絡(luò)預(yù)測輸出。定義局部梯度為： (329)用誤差對節(jié)點權(quán)值求偏導(dǎo)數(shù)，得到式(330)。 (330)將式(329)代入式(330)得到： (331)根據(jù)梯度下降法，權(quán)值修正應(yīng)使誤差以最快速度減小，從而定義修正量為 (332)式(332)中，是學(xué)習(xí)率，的選擇很重要，其直接影響了迭代的收斂速度。在實際計算中，為了加快收斂速度，往往在權(quán)值修正量中加上前一次的權(quán)值修正量，稱為慣性項，即 (333)每次迭代計算，權(quán)值由下式計算 (334) 用如上方法不斷迭代計算，直到誤差平方和小于某個閾值，此時認(rèn)為網(wǎng)絡(luò)已經(jīng)收斂，停止迭代，并保存收斂后的網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點權(quán)值。 BP神經(jīng)網(wǎng)絡(luò)可以解決多輸入多輸出問題，而不用將多輸出問題轉(zhuǎn)化為多個單輸出問題。數(shù)學(xué)理論已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機制復(fù)雜的問題。同時其具有自學(xué)習(xí)能力，且具有一定的推廣、概括能力。但BP神經(jīng)網(wǎng)絡(luò)同時也有一些缺點，如學(xué)習(xí)速度很慢，對于一些復(fù)雜的問題，有可能需要很長的訓(xùn)練時間；另外其容易收斂于某個局部極小值；神經(jīng)網(wǎng)絡(luò)目前缺乏嚴(yán)密的數(shù)學(xué)基礎(chǔ)，網(wǎng)絡(luò)隱層數(shù)及節(jié)點數(shù)目的確定都無理論上的指導(dǎo)，只能憑借使用者的經(jīng)驗及不斷的實驗來進(jìn)行確定；而且神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和記憶不具有穩(wěn)定性，如果新增加了訓(xùn)練樣本就要重新開始學(xué)習(xí)。 支持向量回歸 統(tǒng)計學(xué)習(xí)理論是于上世紀(jì)六、七十年代提出的一種機器學(xué)習(xí)的理論。1992年，Vapnik[18,48]及其合作者發(fā)明了支持向量機(SVM)，并從上世紀(jì)90年代后期開始得到越來越深入的研究，目前已經(jīng)廣泛應(yīng)用于數(shù)據(jù)挖掘及機器學(xué)習(xí)領(lǐng)域。 支持向量機集成了Mercer核、最大間隔超平面、凸二次規(guī)劃以及稀疏解、松弛變量等多項技術(shù)。在若干領(lǐng)域中已經(jīng)得到了越來越廣泛的應(yīng)用，取得了很好的性能。被美國某科學(xué)雜志稱為“機器學(xué)習(xí)領(lǐng)域非常流行的方法和成功的例子，并是一個十分令人矚目的發(fā)展方向”。 支持向量機的基本策略是結(jié)構(gòu)化風(fēng)險最小原則，達(dá)到最小化期望風(fēng)險，最小化經(jīng)驗風(fēng)險及置信范圍。其具有如下基本思想： ①它針對有限樣本尤其是小樣本時的機器學(xué)習(xí)，在給定的學(xué)習(xí)精確度及復(fù)雜度之間尋求折中，以達(dá)到最好的泛化能力。 ②它解決的是一個全局凸二次規(guī)劃問題，因此可以獲得全局最優(yōu)解，避免了神經(jīng)網(wǎng)絡(luò)出現(xiàn)局部極小值的情況。 ③它通過核方法將低維的非線性數(shù)據(jù)映射到高維空間的線性數(shù)據(jù)，進(jìn)而通過線性決策方法解決問題，因此具有很好的非線性問題解決能力及推廣性。 目前，支持向量機已經(jīng)在模式識別(分類問題)，回歸分析及概率密度函數(shù)估計等領(lǐng)域得到了廣泛的應(yīng)用，本文將著重介紹支持向量機在回歸分析中的應(yīng)用，即支持向量回歸(SVR)。 假設(shè)有訓(xùn)練樣本，在經(jīng)驗風(fēng)險最小化原則下求出關(guān)于輸入與輸出的回歸函數(shù)： (335)是參數(shù)列矢量，為內(nèi)積，為閾值。對于超平面，它的帶是指它沿軸上下平移()而生成的區(qū)域。如果該超平面的帶包含訓(xùn)練集合中的所有訓(xùn)練點，則稱為硬帶超平面，滿足： (336)，圖中“”代表訓(xùn)練點，實線代表硬帶超平面，虛線為超平面沿軸上下平移()而生成的，兩虛線之間的區(qū)域即為該超平面的硬帶。 硬帶超平面示意圖(據(jù)李衡宇 2008)在有限個訓(xùn)練樣本的情況下，硬帶超平面總是存在的，最小的能使其存在應(yīng)該是式(337)的解： (337) 對于回歸問題，如果存在比較小的硬帶超平面，那么可以選擇該超平面作為回歸問題的解。 線性支持向量回歸 我們將訓(xùn)練樣本中的輸出值分別增加和減少，得到正類點和負(fù)類點兩個集合和： (338)式中1和1為輸出，從而將回歸問題轉(zhuǎn)化為分類問題。最優(yōu)化問題如式(339)： (339)求解該最優(yōu)化問題得到及，從而得到線性回歸函數(shù)為： (340) 非線性支持向量回歸對于非線性回歸問題，輸入數(shù)據(jù)用一條直線顯然很難逼近，需要用曲線去逼近。因此處理方式類似于處理線性回歸問題，只不過要先將非線性數(shù)據(jù)用非線性函數(shù)映射到高維