【正文】 的漸近正態(tài)性 這一步的證明對混合過程和強混合過程來說是一樣的. 在此，我們僅對混合過程來證明. 我們使用所謂的小塊和大塊分割方法. 分割為一些子集，使得大塊個數(shù)為，小塊個數(shù)為. 并且大塊后面緊接著一小塊. 記為分割塊的個數(shù). 記. 于是. 由（）和（）可得， . （） 記隨機變量和分別為第大塊和第小塊中變量的和. 也就是說，另外，記為在殘差塊上的和. 這時， .我們將證明，對任意，當(dāng)，有， （） ， （） ， （） . （）結(jié)論（）蘊涵著在小塊和殘差塊上的和和是漸近可忽略的. （）表明在中的大塊的加載項是漸近獨立的，且（）和（）是在獨立假設(shè)下的漸近正態(tài)性成立的標(biāo)準(zhǔn)LindbergFeller條件. 從表達式（）—（）便可證明（）的漸近正態(tài)性. 我們現(xiàn)在證明（）—（）. 我們先選擇塊的大小. 條件1（iv）蘊涵了存在常數(shù)使得.定義大塊的大小. 于是，容易證明 . （） 我們現(xiàn)在來建立（）和（）. 首先，由平穩(wěn)性和（），我們發(fā)現(xiàn).由（）和（），我們有同樣的討論也可應(yīng)用到（）和（）的第二部分. 注意，和的間隔至少有個. 因此，令，我們可得，由（），上式趨近于零. 這樣就證明了（）. 接下來我們來證明（）. 我們使用如下截斷技巧. 記，其中為一固定截斷點. 相應(yīng)地，我們也增加上角標(biāo)來表示而不是. 這樣，其中，.由是有界的（因為是有界的且具有有界支撐），則對某個常數(shù)有，. 這時，應(yīng)用（）便可得到.因此，當(dāng)很大時，就變成了空集，故有（）成立. 因此，我們就可得如下的漸近正態(tài)性 . （）為完成證明，即建立（），只要證明先，然后時，我們有 . （）就可以了. 實際上，由上式我們有： .第一部分是有界的，因為.令，由（）可得第一項將收斂于零，先令，然后再令時，由（）知，對每個，第二項都趨向于零，由控制收斂定理可得，當(dāng)時，第三項趨向于零. 因此，我們只需證明（）. 注意，和有同樣的結(jié)構(gòu)，因此，由（），我們可得由控制收斂，右邊當(dāng)時收斂到零. 這就建立了（）. . 證明這個引理的基本思想是聯(lián)合Mack和Silverman（1982）中的技巧和定理（）. 注意，為一般的常數(shù)，它在不同的場合數(shù)值會改變. 證明包括以下三步. （a）（離散化）記. 劃分區(qū)間為個等長的子區(qū)間. 令為的中心. 這時 . （） （b）（截斷）令，其中為一單增序列且滿足. 這時依概率1有 . （） （c）（離散化且截斷后序列的最大偏差）對于具有充分大的，倘若，則有 ， （）假定（a）—（c）中的結(jié)果都是正確的. 則對某個，取，由（）我們有，它是可忽略的. 這個和（）一起就得到 . （）由引理的條件可知，而且（）中給出的概率也趨向于零. 因此，.引理的結(jié)果由（）得出. 剩下的就是證明（a）—（c）部分的結(jié)果成立. （a）. 通過用的李普希茲條件，我們有 . （）類似地，用（）的第一個等式，我們有.這個和（）聯(lián)合就證明了（a）. （b）部分的證明與Mack和Silverman（1982）給出的證明很相似. 注意，由BorelCantelli引理，當(dāng)充分大時，依概率1成立. 因此，對于充分大的，有，對所有的.這就蘊涵了最終依概率1趨向于零. 這樣，只要證明期望部分有界就可以了. 利用如下事實，我們可得 .結(jié)合上述兩個結(jié)果，我們就證明了（b）部分. 我們現(xiàn)在來證明（c）部分. 記，則. 利用指數(shù)不等式（），對于任何，及，我們有 ， （）其中，.，當(dāng)充分大時，. 因此，取，由（）以及一些簡單的代數(shù)運算，我們得到 . （）重寫，這里充分大. 表達式（）有界且為.因此，這就證明了（c）部分，繼而完成了引理證明. . ，則得中的每一個元素都一致收斂，且隨機誤差階為，偏倚為. 由（），我們有，在上一致地成立. 注意，在（）. ，它的階是，且在上一致地成立. 便可由（）. 條件2 （i）核函數(shù)和對稱，有界，且具有有界支撐. （ii）是混合過程且. 此外，假設(shè)一正整數(shù)序列滿足和. （iii）函數(shù)有界且三階導(dǎo)數(shù)在點上連續(xù)，在點上是連續(xù)的. （iv）的不同元素間的聯(lián)合密度有界且由與獨立的一常數(shù)控制. 注意，上述混合條件很容易改為混合過程的條件. 證明 . . 因此，. 令，且對所有，.利用矩陣記號和簡單的代數(shù)運算，由（）和（），我們有 ， （）其中是一矩陣，且元素為，,.令和是矩陣，其元素分別是和，且. 我們將建立 （a）依概率趨向于； （b）依概率趨向于； （c）是漸近正態(tài)的，且均值為零，方差為. 將這些與（）聯(lián)合起來，我們有 . （）由泰勒展開，我們可得利用這個展開，并考慮到（）中的邊際分布，我們就得到了結(jié)果. 結(jié)論（a）已經(jīng)在（）中得到. 對于（b），由泰勒展開，我們有.再次利用（），我們有.這便證明了（b）. 為證明（c），我們考慮任意的線性組合，記常系數(shù)為. 令 ，其中. 記. 注意，是平穩(wěn)混合序列的和，它的漸近正態(tài)性可由小塊和大塊方法得出. . 文獻注釋 時間序列的平滑與密度估計和其他相關(guān)的問題諸如譜密度估計是密切相關(guān)的. 它是對獨立數(shù)據(jù)和相應(yīng)的非參數(shù)問題的平滑技巧的推廣. 參閱167。167。. 在這一節(jié)中，我們主要著眼于在相依數(shù)據(jù)上一些重要的發(fā)展上. 獨立樣本的非參數(shù)回歸 非參數(shù)密度估計和非參數(shù)回歸的發(fā)展有許多交叉之處. 核回歸是由Nadaraya（1964）和Watson（1964）獨立提出的. 其他的變形包括Priestley和Chao（1972）及Gasser和M252。ller（1979）. Chu和Marron（1991b）對核回歸估計的各種版本的優(yōu)點進行了對比. 最優(yōu)收斂速度由Stone（1980，1982）建立. Mack和Silverman（1982）建立了核回歸的一致相合性. 估計和真實回歸函數(shù)之間最大偏差的漸近分布由Gruet（1996）導(dǎo)出. 這個結(jié)果由Xia和Li（1999）及Fan和Zhang（2000）利用不同的估計獨立地推廣到了變系數(shù)模型. 關(guān)于核回歸估計更多的結(jié)果可以參閱書籍M252。ller（1988），M228。rdle（1990）及Eubank（1999）. 局部多項式擬合 局部多項式回歸在估計回歸函數(shù)及它們的導(dǎo)數(shù)方面是非常有用的. 更詳細的內(nèi)容可以查閱由Fan和Gijbels（1996）合寫的書及相關(guān)的參考文獻. 局部逼近的想法早先出現(xiàn)在Woolhouse（1870）及Macaulay（1931）中，還可以追溯到至少和能被計算時一樣早的年代. 它首先由Stone（1977）和Cleveland（1979）作為一種工具應(yīng)用到非參數(shù)回歸上. Tsybakov（1986）給出了穩(wěn)健局部多項式估計的漸近性質(zhì). 對于固定設(shè)計的情況，M252。ller（1987）證明了局部多項式擬合和核回歸的等價性. Fan（1992，1993a）則清晰地證明了對于非參數(shù)回歸局部多項式擬合的優(yōu)良性，使得局部多項式技巧再度受到了很多的關(guān)注. 緊接著，F(xiàn)an和Gijbels（1992）及Hastie和Loader（1993）證明了局部線性擬合可以自動糾正邊界偏倚. Ruppert和Wand（1994）將結(jié)果推廣到了一般的局部多項式擬合中. Fan，F(xiàn)armen和Gijbels（1997）給出了局部極大似然估計的想法，Carroll，Ruppert和Welsh（1998）則更進一步推了這種方法，包括推廣到局部估計方程上. 關(guān)于數(shù)據(jù)驅(qū)動式帶寬選擇可以在Fan和Gijbels（1995），Ruppert，Sheather和Wand（1995），及Ruppert（1997）中找到. 相依樣本的非參數(shù)回歸 對于時間序列，有各種各樣的非參數(shù)回歸問題：時域平滑，狀態(tài)域平滑，條件密度估計，條件方差估計，等等. Yakowitz（1985）考慮了條件均值估計和馬爾可夫鏈的轉(zhuǎn)移密度估計. Roussas（1990）得到了核回歸估計的強相合的速度. Fan和Masry（1992）研究了帶度量誤差的非參數(shù)回歸問題. Truong和Stone（1993）給出了在和范數(shù)下局部均值和局部中位數(shù)估計的收斂速度. 在比以前的工作更弱的條件下，Tran（1993）給出了最優(yōu)的收斂速度. Yao和Tong（1996）給出了相依過程下的條件期望分位數(shù)估計. Truong和Stone（1994）研究了一個半?yún)?shù)問題，并得到了它的速度估計. Vieu（1991）指出MISE，ISE和ASE的度量之間是等價的. 這個結(jié)果是對Marron和H228。rdle（1986）的結(jié)果從獨立到相依情況下的一個推廣，這方面亦可參閱Kim和Cox（1995）的研究. Tran，Tsybakov和Yang（1998）研究了非參數(shù)多元回歸問題. Opsomer，Wang和Yang（2001）給出了具有相關(guān)誤差的非參數(shù)回歸的回顧. Jiang和Mack（2001）研究了在相依數(shù)據(jù)下穩(wěn)健局部多項式回歸估計以及一步性質(zhì). Peng和Yao（2001）研究了重尾相依誤差的非參數(shù)回歸. Hall和Hart（1990）在長記憶和短記憶誤差下得到了均方性質(zhì). Altman（1990）研究了具有短記憶誤差的數(shù)據(jù)的時域平滑和帶寬選擇. Truong（1991）研究了時域平滑和半?yún)?shù)估計的收斂速度. Brillinger（1994），Wang（1996）及Johnstone和Silverman（1997）利用小波門限估計研究了非參數(shù)回歸. Cs246。rg246。和Mielniczuk（1995）及Robinsons（1997）分別給出了短相依和長相條件下核回歸的漸近正態(tài)性. Cs246。rg246。和Mielniczuk（1995）導(dǎo)出了最大偏差的漸近分布. 漂移和擴散函數(shù)的非參數(shù)估計由Pham（1981），Prakasa Rao（1985），Stanton（1997），F(xiàn)an和Yao（1998）等建立. Wang（2002）研究了ARCH模型和擴散過程之間漸近等價性問題. Durham和Gallant（2002）研究了基于從擴散過程導(dǎo)出的一組離散樣本的模擬極大似然估計. ASahalia（1999，2002）導(dǎo)出了隨機擴散模型轉(zhuǎn)移密度的漸近展開式，并研究其極大似然估計的性質(zhì). 樣條平滑 平滑樣條的思想出現(xiàn)在Wittaker（1923），Schoenberg（1964），和Reinsch（1967）中. Kimeldorf和Wahba（1970）及Wahba（1975）將其引入到了統(tǒng)計中來. Wong（1984）和Gu（1990）計論了多元樣條逼近. Utreras（1980）及Li（1985，1986），還有Wahba（1977）討論了平滑參數(shù)的選擇問題. Nychka（1988）利用貝葉斯方法給出了其置信區(qū)間. 節(jié)點刪除思想在Smith（1982）及Breiman，F(xiàn)riedman，Olshen和Stone（1984）所著的書中提到過；也可以參考它的1993年的修改版本. 對于基于節(jié)點刪除方法的樣條回歸方面的問題也可參閱Stone，Hansen，Kooperberg和Truong（1997）. Chen和Shen（1998）研究了平穩(wěn)混合觀測數(shù)據(jù)下的sieve方法. Chen和White（1999）給出了非參數(shù)神經(jīng)網(wǎng)絡(luò)估計的漸近正態(tài)性和收斂速度. 帶寬選擇 幾乎所有非參數(shù)估計實際上都存在選擇一平滑參數(shù)的問題. 基于思想就是選擇參數(shù)使得積分平方誤差或者平均積分平方誤差最小. 方法基本上分為兩類：交叉核實方法和嵌入方法. 對于獨立數(shù)據(jù)的交叉核實方法的概述和發(fā)展可以參閱Hall和Johnston（1992）. 也可參閱Hall，Marron和Park（1992）中提到的光滑交叉核實方法. 在這個方向的大多數(shù)發(fā)展和研究都是建立在獨立同分布密度估計的框架下. 作為概述，可參閱Jones，Marron和sheather（1996）. 當(dāng)混合條件足夠強時，對狀態(tài)域平滑問題的帶寬選擇同獨立數(shù)據(jù)的選擇非常相似. 對于時域平滑，因為局部相依性，對獨立樣本的帶寬選擇用起來不太理想. Altman（1990），Chu和Marron（1991a）和Hart（1991）發(fā)現(xiàn)這個問題并做了一些研究. Hart和Vieu（1990）及H228。rdle和Vieu（1992）給出了多重交叉核實方法的漸近最優(yōu)性. Hall，Lahiri和Truong（1995）研究了獨立數(shù)據(jù)的交叉核實和嵌入方法帶寬選擇的性質(zhì). 交叉核實帶寬選擇的漸近正態(tài)性由Chu（1995）給出. Kim和Cox（1997）研究了在密度估計框架下交叉核實帶寬估計的漸近收斂速度. Yao和Tong（1998）則考慮了在混合過程的廣義交叉核實方法. Robinson（1994）考慮了關(guān)于譜密度在零點奇異情況下的數(shù)據(jù)驅(qū)動非參數(shù)估計