【正文】 10【 】 普通 0【 】 快或慢 __________________________________________________________________ 監(jiān)督訪員的效果之研究 ?督導效應： ? 訪員對工作的認識 ? 受訪者的效應 ? 訪問的技巧 ? 所得資料的品質(zhì) 在延續(xù)上一章節(jié)的研究個案，將督導分為三級： 第一級督導 第二級督導 第三級督導 訪員所收到的回饋僅限於對訪員的生產(chǎn)力、開銷、投入的時數(shù)、獲得的回答率。 同前 (對訪員的生產(chǎn)力、開銷、投入的時數(shù)、獲得的回答率。 )再加上一份對已完成訪問明細的評量結果。 同前兩級之外，再要求訪員將所有訪問錄音，每周至少有系統(tǒng)的評量一份被錄下的訪問。 訪員對工作的認識 ?究竟訪員是否會注意到他們在不同程級的督導下，所收到的回饋內(nèi)容是否會有差別呢？答案是有差別的，接受第一級督導的訪員對督導回饋的評定較不重要。 ?訪員接受不同回饋程度，會影響他們對研究機構所在意事項的認知。 錄音對受訪者的效應 ?假設 ，錄音會對受訪經(jīng)驗產(chǎn)生負面影響 ?假設 *從受訪者的訪談中，沒有證據(jù)顯示錄音會產(chǎn)生負面影響；唯一有顯著差異的是，受訪者認為：接受訓練時間短、及被錄音的訪員 表現(xiàn)較為緊張。 *錄音對於訪員品質(zhì)的控制是可行的。 對訪員技巧監(jiān)督的效應 ?監(jiān)督和回饋並不能改善訪問的技巧，訪員在訓練結束時所表現(xiàn)的能力水平就是他們的最佳狀況。 ?監(jiān)督僅能確認技巧有被使用 JUST KEEP IT (NOT CHANGE IT) 對資料品質(zhì)監(jiān)督的效應 被判為可能有系統(tǒng)性偏誤的所有項目 及平均標準分數(shù) (X1000)的層內(nèi)相關 依督導級數(shù)分 督導級數(shù) 資料指標的品質(zhì) 一 二 三 .012 .010 .008* (偏誤 ) 所有訓練小組 4 5 20** 標準分數(shù) (偏誤 ) 不包括訓練少於一天的 0 4 34*** 註： * t=，第三級 、二級， P.05，單尾檢定，分數(shù)低表訪員效應小 ** t=，第三級 、二級， P值不顯著，分數(shù)高表偏誤小 *** t=，第三級或 .第一、二級， P.04，單尾檢定，較大值表偏誤小 P 值 ? p值（ p值小於 ）的意義：有顯著差異研究設立成立 ? 主任在討論區(qū)中對ｐ值的解釋： ? 話說在電腦的報表中常會出現(xiàn) 〔 p值 〕 這個 〔 統(tǒng)計考驗量數(shù) 〕 ，它指的是虛無假設（ null hypothesis，常以 H0表示）被接受（或說 〔 為真 〕 ）的情況下，所得到的一個不小於此統(tǒng)計數(shù)值的機率值。若檢定結果接受虛無假設（ p值＞顯著水準），則推翻原本真正要檢定的研究假設（ research hypothesis，常以 H1表示） ﹔而如果經(jīng)檢定是拒絕虛無假設的話（ p值＝＜顯著水準），則原本的研究假設得以成立。 註：在統(tǒng)計學理上有一個叫做 〔 顯著水準 〕 （ level of significance）的，在統(tǒng)計分析的報表上往往以 Significance或 ，此意義就是研究者拒絕虛無假設得最大機率值，一般學者間約定成俗的習慣是採 。 測量方式 (1) 層內(nèi)相關係數(shù) (rho)： ? 訪員對資料的影響程度 (某個推估值之變異量和訪員的關係程度 )，如果 rho係數(shù)很小，那表示變異量並非由訪員所引起，此時訪員的品質(zhì)便獲得證實。 ? rho（層內(nèi)相關係數(shù)）在三個督導層級分別是 ／／ ，且經(jīng)檢定後發(fā)現(xiàn) p值小於 ，所以各層級間存在差異，亦即依層級的改變，訪員效應有顯著減少現(xiàn)象這個命題是可成立的，故可得出 ? 〔 督導級數(shù)越高／越嚴謹／越細緻／執(zhí)行考慮因素越多，則訪員效應／引發(fā)對資料正確性之影響就越小，亦即 rho會隨督導層級而逐漸改善 〕 測量方式（續(xù)） (2) 偏誤測量： ? 訪員受訓程度和所得答案偏誤多寡的相關程度。 ? 密集式的問卷檢閱和訪問錄音效果對於所有訓練類組上的影響是代表下方提及的 〔 t= ，第三級 ，第二， p值不顯著 〕 可判斷在各督導層級間並未有明顯差異。 ? 在 〔 標準分數(shù)（不包括訓練天數(shù)少於一天的） 〕 這個項目，可參見表下方提及的 〔 t= ，第三級或第一，第二， p值小於 〕可判斷在各督導層級間有明顯差異，且是較大值表偏誤小，亦即訪員的偏誤大都來自 〔 接受訓練少於一天但被錄音者 ──去除訓練少於一天者為 34→ 所有訓練小組的 20， 34→20 ，偏誤變大 〕 ，故可說明：若排除此類訪員，則錄音的價值在降低偏誤上是有顯著的正面影響。 結 論 一. 督導能影響訪員表現(xiàn)的好壞，但不能改善訪員訪問的技巧 二. 密集式的督導並不能彌補不當?shù)挠柧?→ 反效果 三. 當訪員對自己的技巧越有信心，越偏離標準化 → 隨心所欲的訪問 四. 電話督導 → 確立標準化訪問、立即的回饋 錄音督導 → 受訪者多半不介意、對訪員影響亦不大，在面訪時錄音督導有其價值 在調(diào)查中如何減低訪員 相關的誤差 雷碧秀 有六個方式會影響訪問的一致性 ?訪員所要詢問的題目字句； ?所給予訪員有關如何處理問題和答題過程的詳細指示或守則； ?所給予訪員有關如何建立和維持與受訪者關係的指導與程序； ?訪員的選擇； ?訪員的訓練； ?在資料蒐集過程中訪員被督導的方式。 題目設計 為了使題目成為可信賴的測量工具，須達到三個標準 1. 題目必須編寫完全，以便讓受訪者得以提供答案； 2. 題目對每一位受訪者代表的意義是相同的， 3. 對所有的受訪者清楚的傳達出什麼樣的答案是對題目的適當回答。 訪問的程序 ?四個標準原則 1. 確實按照題目字句讀題； 2. 避免間接追問不適當?shù)拇鸢福? 3. 記錄答案時不可加入訪員自身的臆測； 4. 訪員須與受訪者保持關係間的中立，不帶個人主見的看法。 訪者與受訪者間的關係 關於訪員的親切又專業(yè)的形象將是使調(diào)查結果之誤差值減至最低， Cannell列出五種訪員可以一致的標準傳達給受訪者： 1. 訪問的速度； 2. 提供受訪一個模式； 3. 無論是在訪問之前或訪問當中，都能提供給受訪者對其期望保持一致性的指示； 4. 對所欲的行為予以模式化的強化； 5. 要求受訪者承諾其表現(xiàn)要在某一水準以上。 減少估計標準誤差的五種方式 策 略 方 式 可能增加的成本 對標準誤差的影響 樣本大小 增加 20%的樣本 按資料蒐集增加及資料削減的成本的比例 減少 10% 訪員訓練 如果訪員接受的基礎訓練少於一天 ,則增加一天或二天 每位訪員額外訓練一天的費用相當於訪員十二個小時的薪水 在 1/3最受訪員影響的調(diào)查項目中 ,減少10%的誤差 錄音督導 錄下所有或部分訪問樣本 。一星期檢查每位訪員一次 。提供回饋 每位訪員每個星期大約二小時 在 1/3最受訪員影響調(diào)查項目中 ,減少 至少 10%的誤差 題目設計 改寫題目以減少偵測之需要 ,並使管理及讀題上更容易 大約需兩倍訪問時間從前測中所錄下內(nèi)容來列出訪員行為 ,另需改寫題目的時間 效果尚未證實 ,但資料顯現(xiàn)可能得到最重要的收益 每位訪員的訪問數(shù) 增加 25%的訪員以減少20%的指定訪問次數(shù) 很難估算 ,但在相同的效果下 ,其所需經(jīng)費一定少於改變樣本數(shù)所需的經(jīng)費 ,但有同樣的效果 在 1/3最受訪員影響的調(diào)查項目中 ,減少10%的誤差 總 結 ?標準化的調(diào)查訪問，其依賴封閉式和固定式答案的問題，它的減少誤差關鍵在於受訪者對題目有疑問時，訪員該怎麼做才對。訪員的特徵與行為將影響調(diào)查資料的品質(zhì)，在這裡所提出可供研究生所用的策略，以便減低訪員相關的誤差。 END