bootstrap和刀切法jackknife經(jīng)典授課講義(編輯修改稿)
2025-02-17 12:31 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 otstrap期望： ? 計(jì)算 bootstrap偏差： ( ) ( )*b o o t n F n nB ia s T T T=E**1 ,..., BXX( ) ( ), 1 , ,* * * *, . . . ,n b b n bbT g X g X X==**,11nnnrrTTB== 229。( ) *nb o o t n nB i a s T T T=*bX22 例：混合高斯模型： ? 標(biāo)準(zhǔn)誤差估計(jì) ? 在標(biāo)準(zhǔn)誤差估計(jì)中， B為 50到 200之間結(jié)果比較穩(wěn)定 ? 偏差估計(jì) 7nX =B 10 20 50 100 500 1000 10000 B 10 20 50 100 500 1000 10000 181。bootsebootBias181。( )*F XE23 Bootstrap置信區(qū)間 ? 正態(tài)區(qū)間： ? 簡(jiǎn)單，但該估計(jì)不是很準(zhǔn)確，除非 接近正態(tài)分布 ? 百分位 區(qū)間： ，對(duì)應(yīng) 的樣本分位數(shù) ? 還有其他一些計(jì)算置信區(qū)間的方法 ? 如樞軸置信區(qū)間： ( )**2 1 2,nC T Taa =181。2nT z sea177。nT**,1 , ...,n n BTT( )**1 2 2? ?2 , 2 ,nC T T T Taa= 24 例： Bootstrap置信區(qū)間 ? 例 ： Bootstrap方法的發(fā)明者 Bradley Efron給出了下列用語(yǔ)解釋 Bootstrap方法的例子。這些數(shù)據(jù)是 LAST分?jǐn)?shù)（法學(xué)院的入學(xué)分?jǐn)?shù)）和 GPA。計(jì)算相關(guān)系數(shù)及其標(biāo)準(zhǔn)誤差。 LSAT (Y) 576 635 558 578 666 580 555 661 651 605 653 575 545 572 594 GPA (Z) 25 例 （續(xù)） ? 相關(guān)系數(shù)的定義為： ? 相關(guān)系數(shù)的 嵌入式 估計(jì) 量 為： ? Bootstrap得到的相關(guān)系數(shù)插入估計(jì)的標(biāo)準(zhǔn)誤差為： 181。 0 .1 3 2bootse 187。標(biāo)準(zhǔn)誤差趨向穩(wěn)定于 ( ) ( ) ( )( ) ( ) ( ) ( )22,YzYzy z dF y zy dF y z dF zmmqmm=蝌蝌( ) ( )( ) ( )220 . 7 7 6iiiiiiiY Y Z ZY Y Z Zq==229。邋$B 25 50 100 200 400 800 1600 3200 181。bootse26 例 （續(xù)） ? 當(dāng) B=1000時(shí)， ? 的直方圖為下圖，可近似為從 的分布采樣 ? 95%的正態(tài)區(qū)間為： ? 95%的百分點(diǎn)區(qū)間為： ? 當(dāng)大樣本情況下，這兩個(gè)區(qū)間趨近于相同 181。 0 . 1 3 7bootse 187。**1 , ... , Bqq$$ q$181。 ( )0 . 7 8 2 0 . 5 1 , 1 . 0 0 se?( )0 .4 6 , 0 .9 6 27 非參數(shù) bootstrap過(guò)程總結(jié) ? 對(duì)原始樣本數(shù)據(jù) 進(jìn)行重采樣，得到 B個(gè)bootstrap樣本 ，其中 b=1, …, B ? 對(duì)每個(gè) bootstrap樣本 ，計(jì)算其對(duì)應(yīng)的統(tǒng)計(jì)量的值（ bootstrap復(fù)制） ? 根據(jù) bootstrap復(fù)制 ，計(jì)算其方差、偏差和置信區(qū)間等 ? 稱(chēng)為非參數(shù) bootstrap方法，因?yàn)闆](méi)有對(duì) F的先驗(yàn)（即 F的知識(shí)僅從樣本數(shù)據(jù)中獲得） ( )1 , . . . , nX X X=( )1* * *, ... , nbX X X=( ) ( ), 1 , ,* * * *, . . . ,n b b n bbT g X g X X==* , 1 , .. .,bX b B=,* , 1 , ...,nbT b B=28 非參數(shù) bootstrap ? 統(tǒng)計(jì)量 /統(tǒng)計(jì)函數(shù)： ? 沒(méi)有對(duì) F的先驗(yàn)， F的知識(shí)僅從樣本數(shù)據(jù)中獲得（ CDF估計(jì)），統(tǒng)計(jì)函數(shù)的估計(jì)變?yōu)?嵌入式估計(jì) ? 真實(shí)世界： ? Bootstrap世界： ? 如方差計(jì)算中，發(fā)生了兩個(gè)近似 ? 近似的程度與樣本數(shù)目 n及 bootstrap樣本的數(shù)目 B有關(guān) ( )T T F=( ) ( ) ( )1?, , . . . ,n n nT T F T T F g X X= = =( )11, . . . , , . . . ,n n n nF X X T g X X揶 =182。 ( )* * * * *11, . . . , , . . . ,n n n nF X X T g X X揶 =( )( )}182。 ( )( )}11nO n O BF n n b o o tFT T v= ? ?VV29 Bootstrap的收斂性 ? 例：混合高斯模型： ? ? n=100個(gè)觀(guān)測(cè)樣本： ? 4次試驗(yàn)得到不同 B的偏差和方差的結(jié)果 ( ) ( ) ( ): 0 . 2 1 , 2 0 . 8 6 ,1F F X N N=+( )1 1 0 0, . . . ,XX=XnnTX=181。bootsebootBias30 Bootstrap的收斂性 ? B的選擇取決于 ? 計(jì)算機(jī)的可用性 ? 問(wèn)題的類(lèi)型：標(biāo)準(zhǔn)誤差 /偏差 /置信區(qū)間 /… ? 問(wèn)題的復(fù)雜程度 * ,11 Bn boot n bbTTB== 229。31 Bootstrap失敗的一個(gè)例子 ? ，我們感興趣的統(tǒng)計(jì)量 為 ? 的 CDF用 G表示 ? 則 的 pdf為 ( )1 , . . . , ~ 0 ,nX X U n i f o r m q( ) ( )1?? ?nngG qqqqq驏驏 247。231。247。231。 247。162。== 231。247。231。 247。231。247。231。 247。桫 231。桫( ) ( ) ( )( )1? ? ? ?m a x , . . . , nG X Xq q q= Q ? ?PP?q( )m a x 1? m a x , . . . , nX X Xq ==( ) ( )( )1?? ? nn niiXF qqqq=驏 247。231。247。= ? = 231。 247。231。247。231。桫213。 P?q32 Bootstrap失敗的一個(gè)例子（續(xù)） ? 對(duì)非參數(shù) bootstrap，令 ? 則 ? 所以 ，非參數(shù) bootstrap不能很好地模擬真正的分布 ( ) ( )1m a x , . . . , nnX X X=
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1