【正文】 三節(jié) 測(cè)驗(yàn)信度 一、測(cè)驗(yàn)信度的概念 二、測(cè)驗(yàn)信度的估計(jì)方法 三、影響信度的因素 一、測(cè)驗(yàn)信度的概念 (一 )什么是信度 信度 (reliability)又叫可靠性，是指測(cè)驗(yàn)結(jié)果的一致性程度。 X=T+E Sx2=ST2+SE2 rxx=ST2/SX2 rxx為信度 ， ST2為真分?jǐn)?shù)方差， SE2為誤差方差。 (二 )信度的類型 二、測(cè)驗(yàn)信度的估計(jì)方法 (一 )重測(cè)信度的估計(jì)方法 (二 )復(fù)本信度的估計(jì)方法 (三 )同質(zhì)信度的估計(jì)方法 (四 )評(píng)分者信度的估計(jì)方法 (一 )重測(cè)信度的估計(jì)方法 rx1x2=(Σ X1X2/NM1M2)/Sx1Sx2 Rx1x2為重測(cè)信度系數(shù)， Σ 為連加號(hào)， X1為第一次測(cè)驗(yàn)的分?jǐn)?shù)， X2為第二次測(cè)驗(yàn)分?jǐn)?shù)， N為被試人數(shù)， M1為第一次測(cè)驗(yàn)平均分， M2為第二次測(cè)驗(yàn)的平均分， Sx1為第一次測(cè)驗(yàn)分?jǐn)?shù)的標(biāo)準(zhǔn)差， Sx2為第二次測(cè)驗(yàn)的標(biāo)準(zhǔn)差。 (三 ) 同質(zhì)信度的估計(jì)方法 (1)斯皮爾曼 —布朗公式法 rhh=(Σ XoXe/NMoMe)/SoSe r=2 rhh/(1+ rhh) (2)弗拉南根公式 r=2[1(Sa2+Sb2)/S2] (3)盧龍公式 r=1Sd2/S2 Sd 為 (XoXe)的標(biāo)準(zhǔn)差。 2. 庫(kù)德 理查遜公式法 r=[n/(n1)][(S2Σ pq)/S2] n為項(xiàng)目數(shù)， S2為測(cè)驗(yàn)總分方差， p為項(xiàng)目難度， q=1p. 3. α 系數(shù)法 α = [n/(n1)][(S2Σ Si)/S2] Si為第 i個(gè)項(xiàng)目得分的標(biāo)準(zhǔn)差 (四 ) 評(píng)分者信度的估計(jì)方法 W=[Σ R2i(Σ Ri)2]/[(1/12)K2(N3N)] W為肯德?tīng)柡椭C系數(shù)，這里為評(píng)分者信度系數(shù)， Ri為第 i份試卷評(píng)分等級(jí)之和， K為評(píng)分者人數(shù)， N為試卷數(shù)。 三、影響信度的因素 (一 )分?jǐn)?shù)分布范圍與信度 分?jǐn)?shù)分布范圍越廣，信度越高 (二 )測(cè)驗(yàn)長(zhǎng)度與信度 測(cè)驗(yàn)長(zhǎng)度越長(zhǎng)，信度越高 n=rnn(1r11)/r11(1rnn) (三 )測(cè)題難度與信度 難度 → 分?jǐn)?shù)分布 → 信度 大或小 → 小 → 低 適中 → 大 → 高 第四節(jié) 測(cè)驗(yàn)效度 一、測(cè)驗(yàn)效度的概念 二、測(cè)驗(yàn)效度的類型 三、測(cè)驗(yàn)效度的估計(jì)方法 四、信度與效度的關(guān)系 五、影響放度的因素 一、測(cè)驗(yàn)效度的概念 (一 )效度的描述定義 效度（ Validity)是指測(cè)驗(yàn)有效地測(cè)量到其所要測(cè)量的目標(biāo)的程度。即測(cè)驗(yàn)測(cè)量準(zhǔn)確與否的指標(biāo)。 (二 )效度的數(shù)理定義 Val=Sv2/S2 S2=Sv2+Si2+Se2 Val為效度系數(shù)， S2v為有效方差， S2為總方差。 二、測(cè)驗(yàn)效度的類型 (一 )效標(biāo)效度 (實(shí)證效度 ) 測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)之間的一致性程度。 效標(biāo)即衡量測(cè)驗(yàn)測(cè)量準(zhǔn)不準(zhǔn)的標(biāo)準(zhǔn)或尺子。 效標(biāo)必須具備有效性、可靠性、可操作性和實(shí)用性等條件。 (二 )內(nèi)容效度 測(cè)驗(yàn)試題取樣的適當(dāng)性和代表性。 (三 )構(gòu)想效度 (結(jié)構(gòu)效度 ) 測(cè)驗(yàn)結(jié)果與理論構(gòu)想的一致性程度。 三、效度的估計(jì)方法 (一 )效標(biāo)效度的估計(jì) (1)積差相關(guān) r= (Σ X1X2/NM1M2)/S1S2 (2)等級(jí)相關(guān) r=16Σ D2/[n(n21)] t=(MHML)/√S H2/nH+SL2/nL 正命中率 =工作成功 /測(cè)驗(yàn)成功 總命中率 =命中 /(命中 +失誤 ) 三、效度的估計(jì)方法 (二 )內(nèi)容效度的估計(jì)方法 由專家通過(guò)邏輯分析進(jìn)行評(píng)估判斷 (三 )構(gòu)想效度的估計(jì)方法 因素分析方法 相容效度方法，即用一個(gè)權(quán)威測(cè)驗(yàn)與新測(cè)驗(yàn)求相關(guān)。 四、效度與信度的關(guān)系 (一 )信度是效度的必要條件，但不是充分條件。 (二 )信度系數(shù)的平方根是效度系數(shù)的最高限度。即 : R效 =√r 信 五、影響效度的因素 (一 )測(cè)驗(yàn)本身的因素 (二 )測(cè)驗(yàn)實(shí)施過(guò)程中的因素 (三 )被試方面的因素 、動(dòng)機(jī)、情緒、態(tài)度 ：疲勞、饑餓、疾病等。 概化理論 (Generalizability Theory) 第一節(jié) 概化理論產(chǎn)生的背景及概念框架 第二節(jié) 概化理論研究實(shí)例 第一節(jié) 概化理論產(chǎn)生的背景及 概念框架 一、產(chǎn)生背景 二、概化理論的主要概念 三、概化理論的誤差分析 一、產(chǎn)生背景 (一 )概化理論產(chǎn)生的時(shí)間與標(biāo)志 1. 時(shí)間 : 20世紀(jì) 60年代后期 2. 標(biāo)志 : Cronbach等人的系列論文與專著 (二 )概化理論產(chǎn)生的原因 概化理論是針對(duì)經(jīng)典測(cè)量理論的不足提出的 經(jīng)典測(cè)量理論對(duì)測(cè)測(cè)誤差只是一個(gè)籠統(tǒng)的概念沒(méi)有區(qū)分各種原因造成的誤差及其比例。 概化理論是對(duì)經(jīng)典測(cè)量理論的拓展，主要對(duì)誤差進(jìn)行了分折。 (三 )概化理論與經(jīng)典測(cè)量理論的不同 1. CTT的信度是建立在平行測(cè)驗(yàn)基礎(chǔ)上的而GT則是建立在隨機(jī)平行測(cè)驗(yàn)基礎(chǔ)上的。 2. CTT只考慮單一籠統(tǒng)的誤差，而 GT則將誤差依測(cè)試條件進(jìn)行分解 ,進(jìn)行方差分析。 3. CTT中使用信度系數(shù) , GT中使用 G系數(shù)。 二、概化理論中的主要概念 (一 )測(cè)量?jī)A面 指影響測(cè)量目標(biāo)的主要因素 : 指處于不同條件和狀態(tài)下的側(cè)面。如測(cè)驗(yàn)題型、評(píng)分員等作為測(cè)量側(cè)面，而不同題型 (如記敘文、說(shuō)明文、論述文 )和不同評(píng)分者為不同側(cè)面水平。 ：指?jìng)?cè)面水平的全體。 (二 )GT設(shè)計(jì) 1. 交叉型 (crossed) (nested) 3. 混合型 同一批被試 (P)考相同的一批題目 (i) 被試 (P) 1 2 3 …… .N 試題 (i) 1 2 3…… ..M P*i 2. 嵌套型 不同章節(jié)含有不同的試題 試題 (i) 1 2… h1 h1+1 … h2 h2+1… h3.. 章節(jié) (h) 1 2 3 i： h 既有交叉型，又有嵌套型 評(píng)分員 (r) 1 2 3 被 試 (p) 1 2 3 4 5 6 作文試題 (i) 1 2 i*(p： r) (三 ) 方差分類 1. 真方差 測(cè)量目標(biāo)效應(yīng)形成的方差，如學(xué)生作文水平的方差。 它是所有含有測(cè)量目標(biāo)的交互效應(yīng)的方差除以各水平數(shù)之后的和。 除真方差以外所有方差除以各自水平數(shù)后的和。 (四 ) G研究和 D研究 (1)確定測(cè)量目標(biāo)及測(cè)量側(cè)面 (2)進(jìn)行初始測(cè)驗(yàn)研究設(shè)計(jì) (3)收集測(cè)驗(yàn)數(shù)據(jù) (4)進(jìn)行方差分量估計(jì) (各效應(yīng)和交互作用的方差 ) (1)修改設(shè)計(jì)方案 (2)估計(jì) G系數(shù) 三、概化理論的研究步驟 (一 )確定研究問(wèn)題 (二 )測(cè)量設(shè)計(jì) (三 )被試選取 (四 )G研究 (五 )D研究 (二 ) 測(cè)量設(shè)計(jì) (五 ) D研究 D研究 D研究 項(xiàng)目反應(yīng)理論 第一節(jié) 項(xiàng)目反應(yīng)理論概述 第二節(jié) 項(xiàng)目反應(yīng)模型 第三節(jié) 信息函數(shù) 第四節(jié) 項(xiàng)目反應(yīng)理論的新進(jìn)展 第五節(jié) 項(xiàng)目反應(yīng)理論的應(yīng)用 第一節(jié) 項(xiàng)目反應(yīng)理論概述 一、項(xiàng)目反應(yīng)理論產(chǎn)生的原因 二、項(xiàng)目反應(yīng)理論的基本概念 三、項(xiàng)目反應(yīng)理論的歷史回顧 四、項(xiàng)目反應(yīng)理論的基本假設(shè) 五、項(xiàng)目反應(yīng)理論的特點(diǎn) 六、項(xiàng)目反應(yīng)理論的優(yōu)點(diǎn) 一、項(xiàng)目反應(yīng)理論產(chǎn)生的原因 經(jīng)典測(cè)量理論的局限性 二、項(xiàng)目反應(yīng)理論的基本概念 1. 潛在特質(zhì) ：以潛在特質(zhì)為橫坐標(biāo)，以正確反應(yīng)或肯定反應(yīng)的概率為縱坐標(biāo)，以此反應(yīng)項(xiàng)目基本特征的一條曲線。 、項(xiàng)目區(qū)分度和猜測(cè)參數(shù) 三、項(xiàng)目反應(yīng)理論的歷史回顧 1952年洛德的博士論文 《 關(guān)于測(cè)驗(yàn)分?jǐn)?shù)的一種理論 》 1957~1958年 1960年 《 心理測(cè)驗(yàn)分?jǐn)?shù)的統(tǒng)計(jì)理論 1968年 1980年 1990年后 四、項(xiàng)目反應(yīng)理論的基本假設(shè) 正確假設(shè) 五、項(xiàng)目反應(yīng)理論的特點(diǎn) 六、項(xiàng)目反應(yīng)理論的優(yōu)點(diǎn) 一組項(xiàng)目 估計(jì)精度