【正文】 67 / 67。問卷一旦完整、一致和有效，數(shù)據(jù)通常就儲存在數(shù)據(jù)庫中。 處理通常從初步的問卷“凈化”開始，接著是編碼和數(shù)據(jù)錄入，然后是更進一步的審核，以便確定缺失和不一致的數(shù)據(jù)，在此基礎上進行插補，得出合理的替代值。 小結 處理是調查過程中的一個重要環(huán)節(jié)，它將問卷中的回答轉換為適合于匯總制表和數(shù)據(jù)分析的形式。比如，中位數(shù)比均值更穩(wěn)??；四分位數(shù)間距比通常的方差估計量更穩(wěn)健。但是，這些估計量對離群值非常敏感。這樣做對估計的具體影響是使估計出現(xiàn)嚴重的偏倚—通常是低估。若樣本數(shù)據(jù)中前 個最大值（即有序樣本值中的 ）被認為是離群值，則單側 次縮尾估計量就可以通過用第 個最大值 代替所有離群值來定義，即： 2) 調整權數(shù) 處理離群值的另一種方法是，降低離群值的權數(shù)使它們的影響變小。離群值處理的目的是在不引入較大偏倚的前提下，盡量減少對估計量抽樣誤差的影響。 在審核時沒有進行處理的離群值可以在估計的時候處理。在自動審核系統(tǒng)中，離群值經(jīng)常要進行插補處理。 由此可得容許區(qū)間為： 其中， 和 可以通過以前的數(shù)據(jù)或基于過去的經(jīng)驗來確定。注意這里所說的中位數(shù)和四分位數(shù)都是用加權的樣本數(shù)據(jù)計算出來的。 因為上述原因，檢測離群值的最常用的方法之一是四分位數(shù)法。 樣本均值和樣本方差是度量數(shù)據(jù)集中趨勢和離散程度最常用的統(tǒng)計量。如果總體是偏態(tài)的， 和 就不相等。設 是觀測到的樣本數(shù)據(jù)， 和 分別是數(shù)據(jù)集中趨勢和離散趨勢的度量， 離數(shù)據(jù)中心的相對距離 定義為： 如果 大于預先確定的偏離值，那么該觀測值就被認為是一個離群值?？雌饋碇档脩岩傻臇|西，可能僅僅是由于數(shù)據(jù)集固有的變異性。 離群值可能來自另一模型或分布，如，大多數(shù)數(shù)據(jù)服從某個正態(tài)分布，但所推測的離群值很可能是來自一個指數(shù)分布； 有許多原因會導致離群值的產(chǎn)生： 如果一個離群值對應一個變量，該觀測值就是一個單變量離群值；如果一個離群值對應兩個或多個變量，我們就說該觀測值是一個多變量離群值。但極值不一定是影響值。應該區(qū)分極值和影響值。 對于供者插補方法，插補得到的記錄應盡可能與選中的供者相似。 插補系統(tǒng)應事先思考、提出、編程和調試； 仔細選擇插補的方法，考慮每一種插補方法的優(yōu)缺點以及要插補的數(shù)據(jù)的類型； 插補值應標明，插補方法和插補使用的資料也應清楚地標明。插補處理過程應該是自動的、客觀的、可再現(xiàn)的和有效的； 基本的假定（在實際工作中并不總成立）是一個被調查者更有可能只出錯一兩次，而出錯多次的情況較少； 插補得到的記錄應該和審核失效的記錄非常相似。審核和插補帶來的風險是它們會破壞報告數(shù)據(jù)，產(chǎn)生符合預想模型的記錄，而這種模型后來可能表明并不正確。 插補的準則 雖然插補能改善最終數(shù)據(jù)的質量，但也要小心選擇適當?shù)牟逖a方法。 估計總方差中的抽樣方差和插補方差兩個分量都非常重要，因為： 有助于做出正確的推斷； 能如實地告知數(shù)據(jù)用戶調查數(shù)據(jù)的質量； 了解抽樣方差和插補方差的相對重要性，有助于資源在樣本量和審核/插補過程之間合理的分配。因此，大多數(shù)情況下，使用隨機插補方法時，用常規(guī)方法也能正確地估計某一估計量的抽樣方差。有插補數(shù)據(jù)時，抽樣方差通常會低估，因為常規(guī)的抽樣方差計算公式假定回答率為100%。插補對方差估計的影響導致置信區(qū)間過窄，從而引起檢驗中出現(xiàn)虛假顯著性。分布扭曲的程度很大程度上取決于插補量的大小和所使用的插補方法。 顯然，這條記錄中，年齡婚姻狀況、年齡受教育程度是不符合審核規(guī)則的。 插補規(guī)則的確定，不是參考其它任何具體規(guī)定，而是由相應的審核規(guī)則導出。 應該通過變更盡可能少的數(shù)據(jù)項（字段），以使每條記錄都滿足審核規(guī)則的要求； 對一個記錄應盡可能限制需插補的項目。 哪些值需要插補 由于無回答或回答無效檢出的審核失效的記錄一般都需要進行插補。例如，我們可以用平均值加上隨機殘差來進行插補： 其中， 是變量 第個 記錄的插補值； 是插補類的均值； 是從被調查者或某一分布的隨機模型中抽取的殘差。 但是，用這種方法，目的不一定是非要找出一個和受者記錄在匹配變量上完全相同的供者記錄，而是要在插補類中按匹配變量找到和受者記錄最接近的供者記錄——即找到距離最近的值。 冷平臺插補 冷平臺插補與熱平臺插補類似，不同之處在于熱平臺插補使用當前調查的供者，而冷平臺插補則使用其它資料中的供者。使用供者插補可以保持數(shù)據(jù)的原始分布形式。而隨機熱平臺插補，供者是在插補類中隨機選出的，因此是一種隨機插補方法。 在序貫熱平臺插補方法中，數(shù)據(jù)在插補類中是按某種順序排列進行處理的，插補就是用這個序列需要插補數(shù)據(jù)前面某一個有效的回答單元的數(shù)據(jù)來代替缺失的數(shù)值。 5 10 例 樣本 序號 性別 年齡 婚姻狀況 收入 汽車 擁有 1 男 青年 未婚 70 無 2 男 中老年 已婚 100 有 3 女 青年 未婚 50 無 4 男 中老年 已婚 70 有 5 男 青年 未婚 90 有 6 女 中老年 喪偶 30 無 7 男 中老年 已婚 8 女 青年 離異 45 有 9 男 青年 未婚 無 10 女 中老年 喪偶 20 11 男 青年 未婚 50 有 12 男 中老年 已婚 熱平臺插補可以用來插補定量數(shù)據(jù)，也可以用來插補定性數(shù)據(jù)，但通常只用定性變量建立插補類。 為了找到一個與受者記錄相似的供者記錄，必須先確定與需要進行插補處理的變量相關的變量，建立插補類。 比率和回歸估計產(chǎn)生的插補值比簡單均值法產(chǎn)生的插補值更加穩(wěn)定。 這里我們假定，擬合一個插補類中有效數(shù)據(jù)（即通過了所有的審核）的比率或回歸模型，同樣適用于該插補類中審核失效的數(shù)據(jù)。 例如，比率插補所使用的模型為： 其中： 是變量 的第 個單元值； 是與變量 相關的變量 的第 個單元值； 是直線的斜率（即 每變動一個單位， 平均變動的數(shù)值）； 是模型的隨機誤差項，均值為0、方差為 。 因此，如果用常規(guī)的抽樣方差公式進行計算，就會低估最終的方差。 對缺失數(shù)據(jù)，用均值插補相當于對同一插補類中的所有被調查者使用相同的無回答權數(shù)進行調整。 下面簡述一些常用的插補方法。 推理插補：缺失的或不一致的數(shù)據(jù)能通過推斷確定。 除供者插補方法外，下面介紹的方法可逐項進行插補。插補定量數(shù)據(jù)時，用確定性的方法得出一個插補值，加上從某個適宜的分布或模型產(chǎn)出的一個殘差作為最后的插補值，就成為隨機插補。 最近鄰值插補。 序貫熱平臺插補； 均值插補； 幾種確定性插補方法如下： 確定性插補，對于特定的被調查的數(shù)據(jù)，可能的插補值只有一個。 4) 插補 插補就是解決在審核過程中辨別出來的數(shù)據(jù)缺失、無效與不一致等問題的過程。 應該將審核的信息和審核工作對調查數(shù)據(jù)的影響通知數(shù)據(jù)的用戶。 審核工作應由對本次調查的主題、問卷的設計和數(shù)據(jù)分析有專業(yè)知識、并且有類似調查經(jīng)驗的人員來進行； 例如，可能很明顯，有些領域的審核規(guī)則太嚴，或者有些類型的審核失效太頻繁，這些情況表明審核規(guī)則可能不太合適（或問卷可能存在問題）； 審核不僅對整理數(shù)據(jù)有用，而且審核失效發(fā)生率不論是對當前調查的質量度量，還是對將來調查的改進都很有用，它能提供調查中有關數(shù)據(jù)處理的信息； 分離需要插補的記錄。 檢出錯填或漏填的數(shù)據(jù)； 檢查問卷； 審核的指導方針 審核的目標是： 對審核失效進行選擇性審核時，可能需要對被調查者進行再訪，但對于那些需要進一步處理和插補的記錄的審核失效除外。 選擇性審核 選擇性審核基于這樣一種思想：即只有那些“關鍵”的審核失效，而不是所有的審核失效，才需要采取相應的處理措施。 對于有些項目，我們可以用特殊代碼標示的方法，對確認為審核失效而不可接受的值或無效的空白加以保留。在這種情況下，通?？梢詫⑦@些記錄剔除，作為無回答處理，同時將賦予各被調查單元的權數(shù)進行調整。 設立特殊代碼。 將其剔除； 統(tǒng)計理論（如離群值的檢測方法）。 問卷和問題的結構； 通常，審核規(guī)則的確定基于以下幾個方面： 有效性審核和一致性審核是對單張問卷進行的審核；分布審核則是對全部問卷或部分問卷的數(shù)據(jù)一起進行審核。審核的目的就是要保證調查最后所得的數(shù)據(jù)的完整性、一致性和有效性（包括邏輯性）。 對紙張式問卷進行光電掃描； 下面幾種方法可以提高數(shù)據(jù)錄入的效率： 采用計算機輔助數(shù)據(jù)收集方法時，數(shù)據(jù)錄入是在數(shù)據(jù)收集的同時完成的。 2）數(shù)據(jù)錄入 數(shù)據(jù)錄入是將回答轉化成可機讀的形式。 通過文本識別軟件進行自動編碼（即借助軟件給一串字符賦予一個代碼）。 問卷中已預先編碼； 1）編碼 編碼是給問題的每項答案賦予一個數(shù)值代碼，以便于數(shù)據(jù)錄入和作進一步處理的過程。最后生成一個為進一步分析用的數(shù)據(jù)庫。 3）根據(jù)多個變量進行分配第十章 處理（數(shù)據(jù)）處理就是把調查中收集到的數(shù)據(jù)轉換為適合匯總制表和數(shù)據(jù)分析的形式。 分配樣本時需要注意的事項 在進行樣本分配時，應考慮以下問題： 1）借助輔助數(shù)據(jù)進行與Y成比例的分配和與Y的平方根成比例分配。該方法將更多的樣本單元分配到規(guī)模較大的層和單元抽樣費用較小的層。 6）奈曼分配 各層中每個單元的調查費用都相同的最優(yōu)分配就稱為奈曼分配。當所有層的層內抽樣費用都相等時，最優(yōu)分配就簡化為以下討論的奈曼分配。 當所有層的費用和方差都相等時，最優(yōu)分配就簡化為比例分配。 5） 最優(yōu)分配 當各層單元調查費用不全相同，以及層間的方差 變化很大的情況下，可以考慮使用以下稱為最優(yōu)分配的不按比例分配方法。 4）與Y的平方根成比例分配 確保層估計值和總估計值都有較高精度的另一種方法，是使用與Y的平方根成比例分配。例如，如果以省為層，那么省和全國的估計值可能都很重要。 3）與N的平方根成比例分配 到目前為止，所介紹的所有分配方法都只考慮了總體估計值 的精度。因為這類調查中， 經(jīng)常呈偏態(tài)分布。這時， ，即每層的分配系數(shù) 等于該層大小度量與總體大小度量的比。 比例分配的分層隨機抽樣還是一個自加權的樣本設計。因此，層的規(guī)模越大，分配到的樣本單元數(shù)也就越多。 2） 給定變異系數(shù) 確定總樣本量 的另一種準則是在給定總體估計值精度水平的情況下，計算確定每一層所需的樣本量 （h=1,2,…,L），使估計值的變異系數(shù)不超過事先估計的值 。分配給第 層的樣本分配系數(shù)為 ，這里每個