【正文】 精確和準確的關系 ? 可靠并不意味著正確。可靠而不準確屬于系統(tǒng)誤差；準確而不可靠則屬于隨機誤差。 ? 不應混淆精確和準確這兩個概念。精確程度反映度量的可靠性，而準確程度反映度量的有效性。精確和準確都是衡量度量成敗的重要標準。 ? 一般來說，精確的度量優(yōu)于不精確的度量，然而精確并不一定總是必要的。精確度與準確性之間存在著某種程度的相克關系。概念的操作化應當對精確度作出規(guī)定。如果不能確定精確到什么程度合適，則盡量精確一些。 影響有效性與可靠性的因素 ? 一旦大量的主觀判斷元素用于分析，系統(tǒng)誤差和隨機誤差都會影響測量。 ? 在度量過程中，常見的導致系統(tǒng)誤差的因素有 : – 分布誤差（ distributional error） – 光暈偏差（ halo bias ） – 參照系偏差（ reference frame bias ） – 自我中心效應（ egoecentric error） – 循序效應（ sequential error） – 評估者偏差（ evaluator bias ） ? 這些因素導致的系統(tǒng)誤差會降低度量的有效性。 分布誤差 ? 分布誤差可分為 仁慈誤差（ error of leniency） 嚴峻誤差（ error of severity） 中間傾向誤差（ error of central tendency） 仁慈誤差 中間傾向誤差 嚴峻誤差 頻數(shù) 評價 光暈偏差和參照系偏差 ? 光暈偏差 指的是評價者將對評價對象在某一特定維度的積極或消極的評價推廣到到另一維度的評價中的傾向。 ? 參照系偏差 指的是被調(diào)查者的主觀印象與某個特定的度量值不能準確對應造成的偏差。被調(diào)查者用于分析判斷的參照系會影響他所選擇的度量值。在某些情況下，被調(diào)查者會將他人的判斷作為參照系，傾向于迎合社會價值判斷而規(guī)避極端的回答。 自我中心效應導致的偏差 ? 自我中心效應 自我中心效應的產(chǎn)生源于評價者以自我知覺作為評價標準，可分為“對比效應”和“類比效應” 。 ? 對比效應（ contrast effect） 受自我知覺的影響，評價者將評價對象評得與自我知覺完全相反。 ? 類比效應（ similarity effect） 受自我知覺的影響，評價者將評價對象評得與自我知覺完全一致。 循序效應偏差和評價者偏差 ? 循序效應 – 評價可能涉及若干層面，先做的評價影響后做的評價。評價者對評價對象的前一個層面評價較高，在后一個層面會故意壓低評價。這常見于上司對部屬的評價中。 ? 評估者偏差 – 評價者在評價中受評價對象的身份及其它屬性的影響，有意無意（通常是無意的）造成偏差。 導致隨機誤差的因素 ? 隨機誤差降低度量的可靠性。在實際研究中有許多因素使度量不具有可重復性，這些因素的數(shù)量與種類取決于測試的性質(zhì)及測試是如何進行的。 ? 影響可靠性的因素可分為不同測試間的影響因素和一次測試內(nèi)的影響因素。 根據(jù)不同測試的結(jié)果判斷可靠性 ? 可靠性評價所關心的隨機錯誤成分不是一成不變的，不同情形下會有所不同。這樣，在不同情況下的度量結(jié)果的相關性（重復測試相關性）就為評價可靠性提供了基礎。 ? 可靠性與多次度量結(jié)果的穩(wěn)定性有關，如果多次度量所得結(jié)果相同或相近，則說明度量結(jié)果受隨機誤差的影響較小，可靠性好，反之則差。 ? 根據(jù)重復進行的度量之間的關系，可靠性又可分為反復測試可靠性（ TestRetest Reliability）和平行測試可靠性（ ParallelForm Reliability）。 根據(jù) 一次 測試的結(jié)果判斷可靠性 ? 隨機誤差成分不僅隨時間變化，而且在同一次測試過程中在不同的問題或測試項目之間也會變化。測試內(nèi)影響因素就是指在一次測試中，在測試的不同問題或項目之間發(fā)生的隨機干擾。 ? 這類干擾主要是通過評價項目間的內(nèi)部一致性而加以評定的。運用內(nèi)部一致性的原理，我們可以通過檢查不同題目的測試結(jié)果是否一致，從而據(jù)此判斷隨機誤差的影響程度，并評估測試結(jié)果的可靠性。 評價測試結(jié)果可靠性的假設 ? 采用這種方法評價可靠性的關鍵假設是在沒有隨機誤差發(fā)生的情況下，所有的度量項目（ items）所度量的都是同一個基本屬性（ trait），具體項目之間的度量差異就可以作為評價隨機誤差影響的基礎。 ? 如果隨機誤差對度量影響很大，在個別項目上的得分就會有高有低，從而降低了項目之間的相關性。與此相應，如果隨機誤差很小，則意味著每個項目度量的是同一個屬性，從而在一個項目上得分高，在另一個項目上得分也會高，即項目間相關程度高。 五、度量可靠性評價 度量可靠性的評價分為 1．與度量穩(wěn)定性有關的可靠性評定 （ 1）反復測試可靠性 （ TestRetest Reliability） （ 2）平行測試可靠性 （ ParallelForm Reliability） 2．基于度量的內(nèi)部一致性的可靠性評定 反復測試可靠性 ? 在兩次不同的時間，對完全相同的測試對象進行完全相同的度量。兩次度量結(jié)果之間的相關程度可以解釋為度量隨時間變化的穩(wěn)定性。 ? 由于受試對象是人，兩次測試的時間間隔應足夠長，否則受試人對上次測試的記憶會影響第二次測試的回答，使兩次測試獲得不真實的高相關性。 ? 兩次測試的時間間隔也應足夠近，否則待測的屬性可能在這期間受某些影響而發(fā)生變化，這樣兩次測試的真實值可能變化。實際研究中這一時間間隔通常取兩個星期。 平行測試可靠性 ? 這種方法與反復測試方法的差別在于兩次測試具有可比的高度相似性而不是完全相同。 ? 通常兩次測試有相似的項目和同樣的回答方式，而只是在措詞和項目順序等方面有差別，如果兩次度量結(jié)果間顯示出高相關性，就可以排除由于措詞、問題順序以及其他因素導致的隨機干擾。 基于內(nèi)部一致性的可靠性評定 ? 度量項目間缺乏內(nèi)部一致性的原因來自兩方面： ? 一是項目間本身缺乏公共核，這是表面有效性和內(nèi)容有效性的問題； ? 二是度量過程中不同項目間受到隨機因素干擾，引起度量結(jié)果不可靠。 ? 假設沒有隨機誤差發(fā)生，所有的度量項目（ items）所度量的都是同一個基本屬性，因此，具體項目之間的差異可以作為評價隨機誤差影響的基礎。 二分法 （ SplitHalf Reliability） ? 二分法是將一次度量中的項目分為兩部分，以這兩部分度量結(jié)果的相關程度作為評價可靠性的基礎。 ? 二分法存在的問題是，評價的準確與否依賴于項目如何劃分。這一因素一定程度上把不希望有的主觀性引入了可靠性的評價過程。 ? 若有 2n個度量項目，可能的劃分方式有 )!)(!(2)!2(nnn 種，對于有 10個項目的量表就有 126種項目分半劃分的可能，選擇項目劃分方式會引入主觀性。 α參數(shù)法 （ Cronbach α） ? α參數(shù)法是對每一個項目與其他所有項目作相關度計算，從而避免了在二分法中把項目分為兩半所引入的主觀性。 ? 一般認為， α參數(shù)法優(yōu)于二分法。事實上，α在數(shù)量上與所有可能的二分法測得的可靠性平均值相等。 ? α的取值從 0到 1，取值為 0表示完全不可靠，取值為 1表示完全可靠。 α參數(shù)法 （ Cronbach α） ? α的計算公式如下： ??????????? ???????????????kkiikt11212 其中： k = 量表中項目的個數(shù)； 項目 i 的方差； 量表的總方差。 ? i2 ?t2 α參數(shù)法 （ Cronbach α） 對于項目值域只有兩個值的情況，公式為： 其中： k = 量表中項目的個數(shù)； p = 第一種類型回答的比例； q = 第二種類型回答的比例； 量表的總方差。 ?????????? ???????????????kkpqikt1112? t2 ? α參數(shù)法示例 ? 用 α參數(shù)法可以衡量度量的內(nèi)部一致性，在具有較高 α參數(shù)的情況下，可以同時得到滿意的內(nèi)容有效性和可靠性。 ? 我們設想用一個量表對實行 CIMS工程可能帶來目標效益的概率進行評估。量表由 6個項目組成，分別是財務收益提高，市場應變能力增強，企業(yè)信譽提高，管理水平提高，技術能力提高，對外合作能力增強。每個項目的得分從1分（不可能）到 7分（可能）。用這個量表對不同的專家和技術、管理人員進行測試。下表是測試結(jié)果的協(xié)方差矩陣。 測試結(jié)果的協(xié)方差矩陣 * 帶下劃線的值是項目方差 3. 49* 1. 07 2. 46 2. 04 0. 83 3. 37 1. 45 1. 62 1. 97 3. 62 1. 10 1. 00 1. 80 1. 61 3. 62 1. 91 0. 58 2. 30 1. 35 2. 03 3. 52 α參數(shù)法示例 因為量表的總方差 因此， ? ? ?t iikijjkik2 212? ?? ?? ????? ????????????????????????kkiiki ijjkikik1122121 α參數(shù)法示例 首先計算各項目方差（對角線元素）和： = (+++++)= 再計算對角線下方元素即協(xié)方差和： =2(++++++ ++++++++) ＝ 于是得： 證明度量具有較高的可靠性。 ? ii216??21616? ijji ????? ?? ? ??????? ?66 1 120 0820 08 45 32 0 83.. . . 六、提高可靠性的方法 ? 度量誤差的一個基本來源就是有關項目域的抽樣不充分，即缺乏內(nèi)容有效性。因為單個項目不可能提供對概念的完美代表，每個項目除了與概念有關的屬性外還含有一定與概念無關的屬性。 ? 所有項目與概念有關的部分稱為公共核。如果度量中使用的所有項目都來自同一個概念域，則對這些項目的回答應該高度相關。反之，項目間相關性較低說明某些項目不是來自正確的概念域，因而產(chǎn)生了誤差。 提高可靠性的方法 ? α參數(shù)是測量項目間內(nèi)部一致性的有效工具， α參數(shù)較低表明項目樣本與概念域缺乏吻合，這時需要剔除那些與多數(shù)項目相關性較小的個別項目。 ? 如果概念有多維， α參數(shù)要在每一維內(nèi)分別計算，并在每一維內(nèi)去除不符合概念域的項目。 ? 用因子分析（ Factor Analysis）的方法可以檢驗概念的維度。如果 α參數(shù)足夠大并且因子分析發(fā)現(xiàn)的維度與概念域中描述的一致，就可以得到一個令人滿意的度量設計。否則，需要返回前面的步驟繼續(xù)改進度量設計。 提高可靠性的方法 提高可靠性的方法主要有： ? （ 1）增加測試長度，即增加度量項目的個數(shù)。 ? 在其他條件（特別是項目質(zhì)量）一樣的情況下，測試長度越長就越可靠。 ? 研究者可用同樣或略有差異的提法將一個問題反復多問幾次。例如，可提出 10個問題，如果人們對其中一個問題的回答與對其他 9個問題的回答大相徑庭，就應將這一問題刪去。 提高可靠性的方法 ? （ 2）被測因素在受試對象中的差異越大，測試越可靠。 ? 與被測屬性方面差異小的受試對象相比，對被測屬性方面差異大的受試對象進行測試，更易做出可靠的度量； 提高可靠性的方法 ? （ 3）通過提供準確的講解和適宜的測試環(huán)境，來減小受試者犯隨機錯誤的可能性，從而提高度量的可靠性。 ? 在調(diào)查中提出問題時要注意只問那些被調(diào)查者可能知道答案的問題。 ? 對可靠性的最大威脅在于人們會對本來一無所知或一知半解的問題所給出一個確定的回答。而現(xiàn)實中出于“面子”的考慮或其它原因，這種不懂裝懂的現(xiàn)象是常見的。 可靠性的標準 ? 可靠性作為有效性的必要非充分條件，不僅會影響到概念建構(gòu)有效性，而且會對變量間相關關系以至因果關系的推斷產(chǎn)生影響。在度量缺乏可靠性的情況下，度量兩個本應相關的變量由于存在較大的隨機誤差，會使變量間的相關關系看起來缺乏顯著性。因此可靠性作為度量質(zhì)量的標準，必須首先得到保證。那么度量應該達到什么樣的可靠性