【正文】 的估計(jì) ? 例： ，則 ? ，其中 ? ，其中 ? 問題：若 的形式很復(fù)雜（任意統(tǒng)計(jì)量），如何計(jì)算 /估計(jì)？ ( )1 , . . . ,nnT g X X=nTnT ( )FnTV( )FnTV( )FnTV( )?n nF TV11nniiT n X== 229。( ) 2FnTns=V ( ) ( ) ( )22 ,x d F x x d F xs m m= =蝌( ) 2? ?n nF Tns=V ( ) 221? n niiX X ns==229。由 Bradley Efron于 1979年提出，用于計(jì)算任意估計(jì)的標(biāo)準(zhǔn)誤差 ? 術(shù)語“ Bootstrap”來自短語“ to pull oneself up by one’ s bootstraps” （源自西方神話故事“ The Adventures of Baron Munchausen”，男爵掉到了深湖底，沒有工具，所以他想到了拎著鞋帶將自己提起來） ? 計(jì)算機(jī)的引導(dǎo)程序 boot也來源于此 ? 意義：不靠外界力量，而靠自身提升自己的性能，翻譯為自助 /自舉 ? 1980年代很流行，因?yàn)橛?jì)算機(jī)被引入統(tǒng)計(jì)實(shí)踐中來 5 Bootstrap簡介 ? Bootstrap：利用計(jì)算機(jī)手段進(jìn)行 重采樣 ? 一種基于數(shù)據(jù)的 模擬 （ simulation）方法，用于統(tǒng)計(jì)推斷。231。231。231。 242。 242。 EV( )nTV( ) ( ) 2,n b n b nh T T T=B11 模擬 ? 怎樣得到 的分布？ ? 已知的只有 X，但是我們可以討論 X的分布 F ? 如果我們可以從分布 F中得到樣本 ，我們可以計(jì)算 ? 怎樣得到 F？用 代替（ 嵌入式估計(jì)量 ） ? 怎樣從 中采樣？ ? 因?yàn)? 對每個(gè)數(shù)據(jù)點(diǎn) 的質(zhì)量都為 1/n ? 所以從 中抽取一個(gè)樣本 等價(jià)于 從原始數(shù)據(jù)隨機(jī)抽取一個(gè)樣本 ? 也就是說：為了模擬 ，可以通過有放回地隨機(jī)抽取 n個(gè)樣本（ bootstrap 樣本）來實(shí)現(xiàn) 1**,...,nXX( )1* * *, . . . ,nnT g X X=1** ?, ..., ~n nX X FnT?nF?nF?nF?nF1,..., nXX12 Bootstrap：一個(gè)重采樣過程 ? 重采樣 ： ? 通過從原始數(shù)據(jù) 進(jìn)行有放回采樣 n個(gè)數(shù)據(jù)，得到 bootstrap樣本 ? 模擬 ： ? 為了估計(jì)我們感興趣的統(tǒng)計(jì)量 的方差 /中值 /均值，我們用 bootstrap樣本對應(yīng)的統(tǒng)計(jì)量（ bootstrap復(fù)制 ） 近似，其中 ( )1 , . . . , nX X X=( ) ( )1 , . . . ,nnT g g X X==X( )** ,1111BBn b o o t n b bbbT T gBB====邋 X( ) ( ), 1 , ,* * * *, . . . ,n b b n bbT g X g X X==( )1 , ,* * *, . . . ,b n bbX X X=1, ...,bB=13 例：中值 X = (, 0, , , , ) Mean= X1=(, 0,0,) Mean= X2=(0, , , , , ) Mean= X3=(, , , , ) Mean= ( )1 4 . 1 3 4 . 6 4 1 . 7 4 3 . 5 03bootM e a n = + + =14 Bootstrap方差估計(jì) ? 方差： ? 其中 ? 注意： F為數(shù)據(jù) X的分布， G為統(tǒng)計(jì)量 T的分布 ? 通過兩步實(shí)現(xiàn)： ? 第一步：用 估計(jì) ? 插入估計(jì)，積分符號(hào)變成求和 ? 第二步：通過從 中采樣來近似計(jì)算 ? Bootstrap采樣 +大數(shù)定律近似 ( ) ( )22 ,T T nt d G tsm=242。( ) ( ) 2* * * *? ,1111 , nBBn n b n n n bFbbT T T T TBB=== =邋V( )FnTV( )?n nF TV( )?n nF TV?nF15 Bootstrap：方差估計(jì) ? Bootstrap的步驟： ? ? ? 1和 2共 B次，得到 ? 4. （大數(shù)定律） 2**,1111Bnb o o t n b n rbrv T TBB==驏 247。= 247。 247。 247。**1 , . . . , nnX X F:( )* * *1 , . . . ,nnT g X X=**,1 , . . . ,n n BTT16 例：混合高斯模型： ? 假設(shè)真實(shí)分布為 ? 現(xiàn)有 n=100個(gè)觀測樣本： ( ) ( ) ( )2: 0 . 2 1 , 2 0 . 8 6 , 1F F X N N=+5,m=( )1 1 0 0, . . . ,X X X=4 .9 9 7 ,nX =( ) ( )2221? nn i niX X X ns== = 229。nnTX=( ), 2* * * * ,1111 ,n b nBnb o o t n n rbrv X X X XBB=== =邋*100 5 .0 0 1 ,X = 0 . 0 4 8 9 ,bootv =與直接用 嵌入式 估計(jì)得到的結(jié)果比較： 4 .9 9 7 ,nX = 2? 0 .0 4 8 4 ,s =181。 2? 0 . 2 2se s==18 Bootstrap：方差估計(jì) ? 真實(shí)世界： ? Bootstrap世界： ? 發(fā)生了兩個(gè)近似 ? 近似的程度與原始樣本數(shù)目 n及 bootstrap樣本的數(shù)目 B有關(guān) ( )11, . . . , , . . . ,n n n nF X X T g X X揶 =182。 ( )( )}11nO n O BF n n b o o tFT T v= ? ?VV19 Bootstrap：方差估計(jì) ? 在方差估計(jì)中， 可為任意統(tǒng)計(jì)函數(shù) ? 如均值（混合高斯模型的例子） ? 中值（偽代碼參見教材） ? 偏度（例子參見教材） ? 極大值（見后續(xù)例子） ? … ? 除了用來計(jì)算方差外，還可以用作其他應(yīng)用 ? CDF近似、偏差估計(jì)、置信區(qū)間估計(jì) nT20 CDF近似 ? 令 為 的 CDF ? 則 的 bootstrap估計(jì)為 ( ) ( )nnG t T t=?P nTnG( ) ( )**