【正文】 ? 得到 B個(gè)獨(dú)立 bootstrap樣本 ? 計(jì)算每個(gè) bootstrap樣本 對應(yīng)的統(tǒng)計(jì)量的值 ? 計(jì)算 bootstrap期望： ? 計(jì)算 bootstrap偏差： ( ) ( )*b o o t n F n nB ia s T T T=E**1 ,..., BXX( ) ( ), 1 , ,* * * *, . . . ,n b b n bbT g X g X X==**,11nnnrrTTB== 229。 ( )* * * * *11, . . . , , . . . ,n n n nF X X T g X X揶 =( )( )}182。 0 . 2 2 1boot boots e v==181。V直接用 嵌入式 估計(jì)結(jié)果： = 16 24 07 79 X =585 635 2. 5731 367 627 1 .63 7 9 864 2. 7004 487 2 .35 13 1 .48 33 138 4. 9794 518 2 .86 83 1 .62 69 08 762 80 40 49 18 7. 1912 55 29 35 024 .7654 68 26 1輊犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏臌17 例：混合高斯模型（續(xù)） ? 用 Bootstrap計(jì)算統(tǒng)計(jì)量 的方差： ? 1. 得到 B=1000個(gè) bootstrap樣本 ，其中 ? 2. 計(jì)算 B=1000個(gè) bootstrap樣本對應(yīng)的統(tǒng)計(jì)量的值 ? 3. ( )1 , 1 0 0 ,* * *, ... , , 1 , .. ., bbbX X X b B==**1 1 0 0 0, ...,XX, , ,* * *11n b n b i bniT X Xn=== 229。桫邋（計(jì)算 boostrap樣本） （計(jì)算 boostrap復(fù)制） 181。231。231。231。( ) 2F n TTns=V( )Tntd G tm = 242。 E( ) ( )( ) ( )22,11 B Pn b n n n nbT T T T TB= ? =229。 EnT ,1 , ...,n n BTTnT ( )nTEnT ( )nTEnGnGB10 模擬 ? 更一般地，對任意均值有限的函數(shù) h，當(dāng) 有 ? 則當(dāng) 時(shí)，有 ? 用模擬樣本的方差來近似方差 ( ) ( ) ( ) ( )( ),11 B Pn b n nbh T h t d G t h TB=?229。桫PiX9 模擬 ? 假設(shè)我們從 的分布 中抽取 IID樣本 ，當(dāng) 時(shí)，根據(jù)大數(shù)定律， ? 也就是說，如果我們 從 中抽取大量樣本，我們可以用樣本均值 來近似 ? 當(dāng)樣本數(shù)目 B足夠大時(shí)，樣本均值 與期望 之間的差別可以忽略不計(jì) ( ) ( ),11 B Pn n b n nbT T td G t TB==?229。247。? = 換247?；舅枷胧牵豪脴颖緮?shù)據(jù)計(jì)算統(tǒng)計(jì)量和估計(jì)樣本分布，而不對模型做任何假設(shè)（非參數(shù) bootstrap） ? 無需標(biāo)準(zhǔn)誤差的理論計(jì)算，因此不關(guān)心估計(jì)的數(shù)學(xué)形式有多復(fù)雜 ? Bootstrap有兩種形式：非參數(shù) bootstrap和參數(shù)化的bootstrap，但基本思想都是模擬 6 重采樣 ? 通過從原始數(shù)據(jù) 進(jìn)行 n次有放回采樣 n個(gè)數(shù)據(jù)，得到 bootstrap樣本 ? 對原始數(shù)據(jù)進(jìn)行 有放回 的隨機(jī)采樣，抽取的樣本數(shù)目同原始樣本數(shù)目一樣 ? 如：若原始樣本為 ? 則 bootstrap樣本可能為 ( )1 , . . . , nX X X=( )1* * *, . . . , nbX X X=( )1 2 3 4 5, , , ,X X X X X X=( )*1 2 3 5 4 5, , , ,X X X X X X=( )*2 1 3 1 4 5, , , ,X X X X X X=… 7 計(jì)算 bootstrap樣本 ? 重復(fù) B次， ? 1. 隨機(jī)選擇整數(shù) ，每個(gè)整數(shù)的取值范圍為 [1, n]，選擇每個(gè) [1, n]之間的整數(shù)的概率相等，均為 ? 2. 計(jì)算 bootstrap樣本為： ? Web上有 matlab代碼： ? BOOTSTRAP MATLAB TOOLBOX, by Abdelhak M. Zoubir and D. Robert Iskander, ? ? Matlab函數(shù)： bootstrp 1n1,..., nii( )* 1 , . . . ,i i nX X X=8 Bootstrap樣本 ? 在一次 bootstrap采樣中，某些原始樣本可能沒被采到，另外一些樣本可能被采樣多次 ? 在一個(gè) bootstrap樣本集中不包含某個(gè)原始樣本 的概率為 ? 一個(gè) bootstrap樣本集包含了大約原始樣本集的 = ，另外 ( ) 11, 1 , . . . 1 0 . 3 6 8njiX X j n en驏 247。( )FnTV4 Bootstrap簡介 ? Bootstrap是一個(gè)很通用的工具，用來估計(jì)標(biāo)準(zhǔn)誤差、置信區(qū)間和偏差。1 上節(jié)課內(nèi)容總結(jié) ? 統(tǒng)計(jì)推斷基本概念 ? 統(tǒng)計(jì)模型：參數(shù)模型與非參數(shù)模型 ? 統(tǒng)計(jì)推斷 /模型估計(jì)：點(diǎn)估計(jì)、區(qū)間估計(jì)、假設(shè)檢驗(yàn) ? 估計(jì)的評價(jià)：無偏性、一致性、有效性、 MSE ? 偏差、方差、區(qū)間估計(jì) ? CDF估計(jì)： ? 點(diǎn)估計(jì)、偏差、方差及區(qū)間估計(jì) ? 統(tǒng)計(jì)函數(shù)估計(jì) ? 點(diǎn)估計(jì) ? 區(qū)間估計(jì) /標(biāo)準(zhǔn)誤差 ? 影響函數(shù) ? Bootstrap ? Bootstrap也可用于偏差 、置信區(qū)間和分布估計(jì)等 計(jì)算 2 本節(jié)課內(nèi)容 ? 重采樣技術(shù)（ resampling） ? Bootstrap ? 刀切法（ jackknife） 3 引 言 ? 是一個(gè)統(tǒng)計(jì)量，或者是數(shù)據(jù)的某個(gè)函數(shù)，數(shù)據(jù)來自某個(gè)未知的分布 F，我們想知道 的某些性質(zhì)（如偏差、方差和置信區(qū)間） ? 假設(shè)我們想知道 的方差 ? 如果 的形式比較簡單，可以直接用上節(jié)課學(xué)習(xí)的 嵌入式估計(jì)量 作為