【正文】 依賴于組成測驗(yàn)的題目的難度，通過考察測驗(yàn)分?jǐn)?shù)的分布，可以對測驗(yàn)的難度做出直觀檢查。但在實(shí)際工作中，若每一題的難度值均為 ，那么此測驗(yàn)很可能只能區(qū)分出好與差兩種極端被試的差異，卻不能對各種被試作更精確的區(qū)分。 ? 當(dāng) P值接近于 0或接近于 1時(shí)，即被試在該題上全部答對或全部答錯(cuò)，則該題無法提供個(gè)體的信息。 例：某區(qū)域 1000人參加考試，試卷第一題高分組180人答對，低分組 60人答對，求該題難度？ 如論述題 公式 P＝某題平均得分 /該題滿分 主觀題難度的計(jì)算 ? 例 2：某道論述題滿分 12分，所有考生在這道題上的平均得分為 ，求該題的難度？ ? 例 3：語文測驗(yàn)第五題滿分為 12分，這道題考生的平均得分是 ，求該題難度？ ? 例 4： 60人參加考試，某題滿分為 12分，正確得分累積是 480分，求該題難度？ ? 例 1000人參加考試，試卷第一題如果題滿分為 10分，高分組得分總數(shù)為 2100分，低分組得分總數(shù)為 830分，求該題難度？ 難度的分析與控制 ? （ 1）難度分析 ? 進(jìn)行難度分析的主要目的是為了篩選題目。分別計(jì)算出高分組與低分組的通過率，然后求項(xiàng)目的難度。 難度的計(jì)算 （一）基本公式 客觀題難度的計(jì)算（當(dāng)人數(shù)較少時(shí)） P=R/N R為答對該試題人數(shù)， N為參加測驗(yàn)總?cè)藬?shù) 適用范圍：客觀題，只有答對與答錯(cuò)兩種可能。 ? 一個(gè)題目的難度大小，除了所測的內(nèi)容本身的難易程度有關(guān)以外，還與測驗(yàn)的編制技術(shù)和被試的知識(shí)經(jīng)驗(yàn)有關(guān)，由于學(xué)得不清楚或者因被試沒學(xué)過，一個(gè)本來容易的題可能變難。 練習(xí) ? 用一套高中生成就測驗(yàn)對某校高二 15個(gè)學(xué)生施測，其測驗(yàn)得分如下，并以這些學(xué)生校內(nèi)生物學(xué)科的期末成績?yōu)樾?biāo)，試估計(jì)高中生物成就測驗(yàn)的效標(biāo)關(guān)聯(lián)效度？ ? 學(xué)生序號(hào) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ? 測驗(yàn)分?jǐn)?shù) X 42 38 50 40 42 48 39 45 41 43 46 36 54 44 42 ? 校內(nèi)成績 Y 72 66 85 70 78 83 69 82 72 75 77 82 90 84 80 （三）提高測量效度的方法 ? 影響測量效度的因素 ? 測驗(yàn)的構(gòu)成（要素） ? 測驗(yàn)實(shí)施方面（過程） ? 被試主觀狀態(tài)方面 ? 估計(jì)效度所依循的效標(biāo) ? 樣本方面 三、難度 ? 難度是指試題的難易程度。 例二 ? 用一套高中數(shù)學(xué)成就測驗(yàn)對某校高一 10個(gè)學(xué)生施測，其測驗(yàn)分?jǐn)?shù) X如下，并以這些學(xué)生的物理學(xué)科考試成績?yōu)樾?biāo)，試估計(jì)高中數(shù)學(xué)成就測驗(yàn)的效標(biāo)關(guān)聯(lián)效度系數(shù)，且檢驗(yàn)數(shù)學(xué)和物理兩成績變量是否相關(guān)？效度如何？自由度為102=8，直接查 小。 效標(biāo)關(guān)聯(lián)效度的估計(jì)方法 ? （ 1）相關(guān)法 ? 由于測驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)這兩個(gè)變量的類型不同，二者相關(guān)系數(shù)的計(jì)算方法也就不同。所以，為某個(gè)測驗(yàn)選擇一個(gè)最有效的效標(biāo)，這是最重要的事情。也就是說，一個(gè)測驗(yàn)是否有效，應(yīng)該以實(shí)踐的效果來作為檢驗(yàn)的標(biāo)準(zhǔn)。 ? 測驗(yàn)之間尋找證據(jù)：將測驗(yàn)結(jié)果與另一個(gè)效度已知的同類測驗(yàn)結(jié)果進(jìn)行相關(guān)檢驗(yàn)。 ? 用邏輯與實(shí)證的方法來驗(yàn)證假設(shè)。 （結(jié)構(gòu)效度） （ 1）定義 構(gòu)想效度指測驗(yàn)對某種理論的符合程度，其目的在于用相應(yīng)的理論觀點(diǎn)對測驗(yàn)的結(jié)果加以解釋及探討。 內(nèi)容效度應(yīng)用 ? 內(nèi)容效度主要應(yīng)用于成就測驗(yàn)、學(xué)科測驗(yàn)、選拔和分類職業(yè)測驗(yàn)。例 1 例一 ? 在 《 物理 》 某一單元教學(xué)之前，對學(xué)生進(jìn)行有關(guān)這一單元內(nèi)容的測驗(yàn)。這種方法操作過程：在被試學(xué)習(xí)某種知識(shí)之前作一次測驗(yàn)（如學(xué)習(xí)電學(xué)之前考電學(xué)知識(shí)），在學(xué)過該知識(shí)后再作賦閑的測驗(yàn)。 （ 3）內(nèi)容效度的統(tǒng)計(jì)方法 ? 從同一個(gè)教學(xué)內(nèi)容總體抽取兩套獨(dú)立的平行測驗(yàn)，用這個(gè)測驗(yàn)來測同一批被試，求其相關(guān)。 ? 確定每個(gè)題目所測內(nèi)容，并與雙向細(xì)目表對照。 (2)內(nèi)容效度的確定方法 （ 3）內(nèi)容效度的統(tǒng)計(jì)方法 （ 2）內(nèi)容效度的確定方法 內(nèi)容效度的確定方法主要是邏輯分析法，其工作思路是請有關(guān)專家對測驗(yàn)題目與原定內(nèi)容的吻合程度。換言之，效度指測驗(yàn)?zāi)茉诙啻蟪潭壬线_(dá)到測量目的。 ? 主試嚴(yán)格執(zhí)行操作規(guī)程，評(píng)分者嚴(yán)格按標(biāo)準(zhǔn)給分。用肯德爾和諧系數(shù)進(jìn)行估計(jì)。（也稱內(nèi)部一致性程度） 分半信度的前提是只能施測一次或沒有復(fù)本的情況下使用。其值為同一批被試在兩個(gè)復(fù)本測驗(yàn)上所得分?jǐn)?shù)的積差相關(guān)。公采用皮爾遜積差相關(guān)。信度不高的量表是不能使用的。 聯(lián)系： （ 1）教學(xué)評(píng)價(jià)是一種主觀判斷，但是這種主觀判斷必須以教學(xué)測量所得的客觀描述為依據(jù) （ 2）教學(xué)測量也不能脫離教學(xué)評(píng)價(jià) 。 （ 2）教學(xué)評(píng)價(jià)必須對教學(xué)的成敗原因進(jìn)行分析，并對今后教學(xué)工作的改進(jìn)方面作出明確的規(guī)定。它主要包含以下兩個(gè)方面的工作。 （ 3）教學(xué)成效是通過量化的學(xué)績進(jìn)行考察的。 ? 學(xué)生能夠?qū)懸黄恼?，對凡高和高更的藝術(shù)風(fēng)格進(jìn)行比較。 教學(xué)目標(biāo)的例子： ? 學(xué)生能夠有 3分鐘做對 100道除法題。 ？ 2. 在教學(xué)測量中應(yīng)注意什么 （ 1）教學(xué)測量的目的在于考核教學(xué)成效，也就是考察教學(xué)目標(biāo)的完成情況。教學(xué)測量與評(píng)價(jià) 主講：趙興奎 YANGTZE NORMAL UNIVERSITY 教師教育學(xué)院 第一講 教學(xué)測量與評(píng)價(jià)的含義與作用 一、什么是教學(xué)測量 二、什么是教學(xué)評(píng)價(jià) 三、教學(xué)測量與評(píng)價(jià)與關(guān)系 四、教學(xué)測量與評(píng)價(jià)的作用 一、教學(xué)測量 教學(xué)測量（ instructional measurement）是考核教學(xué)成效的一種方法。這是借助于一定的手段與方式，對學(xué)生的學(xué)習(xí)成績（簡稱學(xué)績）進(jìn)行探察，并以一定的數(shù)量來表示的考核辦法。因此，教學(xué)測量的目標(biāo)應(yīng)以教學(xué)目標(biāo)為依據(jù)，測量目標(biāo)應(yīng)與教學(xué)目標(biāo)一致，而不能偏離教學(xué)目標(biāo) 教學(xué)目標(biāo)，有時(shí)也稱為行為目標(biāo)，是指對學(xué)生在一段時(shí)間教學(xué)后應(yīng)該掌握的技能與概念的陳述。 ? 學(xué)生至少能夠說出 5個(gè)唐代的皇帝。 識(shí)記，理解，運(yùn)用 情感目標(biāo)，知識(shí)目標(biāo)、 （ 2）教學(xué)測量的對象是學(xué)生內(nèi)在的能力與品德等的形成狀況，它不可能像物理測量那樣直接進(jìn)行，只能借助于一定的手段與方式間接進(jìn)行。也就是說，教學(xué)成效是以學(xué)生的學(xué)習(xí)成績?yōu)橹苯涌疾煲罁?jù)的，而學(xué)績是以一定的數(shù)量來表示的，因此命題的合理性與評(píng)分的客觀性是有效教學(xué)測量的一個(gè)重要影響因素 二、教學(xué)評(píng)價(jià) 教學(xué)評(píng)價(jià)（ instructional evaluation）就是依據(jù)教學(xué)目標(biāo)，對學(xué)績測驗(yàn)所得測量結(jié)果進(jìn)行分析及解釋。 （ 1）教學(xué)評(píng)價(jià)必須對學(xué)績測驗(yàn)數(shù)據(jù)所表明的教學(xué)成效作出確切的診斷。 評(píng)價(jià)（估）的功能 為家長提供信息 為選拔提供信息 為學(xué)生提供信息 為教師提供信息 為學(xué)校（間）提供信息 評(píng)價(jià)必須要注意的： 公平，公正，標(biāo)準(zhǔn)一致，標(biāo)準(zhǔn)清晰 如何評(píng)價(jià)（估） 形成性評(píng)估和終極性評(píng)估 常模參照評(píng)估與標(biāo)準(zhǔn)參照評(píng)估 三、教學(xué)測量與評(píng)價(jià)的關(guān)系 區(qū)別： 教學(xué)測量是對學(xué)績測驗(yàn)所得結(jié)果的客觀描述（將結(jié)果予以數(shù)量化），并不考慮結(jié)果的實(shí)際意義，而教學(xué)評(píng)價(jià)則是對學(xué)績測驗(yàn)所得結(jié)果的主觀判斷（對結(jié)果進(jìn)行分析解釋），以了解結(jié)果的實(shí)際意義。教學(xué)測量只是對學(xué)績測驗(yàn)結(jié)果的客觀描述，只有通過教學(xué)評(píng)價(jià)，才能判斷這種客觀描述的實(shí)際意義 四、教學(xué)測量與評(píng)價(jià)的功能 1. 反饋 —調(diào)節(jié)功能 對教師 對學(xué)生 —?jiǎng)訖C(jī)功能 對學(xué)生 對教師 第二講 有效教學(xué)測驗(yàn)的基本要求 一、測驗(yàn)的信度 二、測驗(yàn)的效度 三、項(xiàng)目的難度與區(qū)分度 一、測驗(yàn)的信度 信度指的是測量結(jié)果的穩(wěn)定性程度 信度是衡量一個(gè)量表質(zhì)量高低的重要指標(biāo)。 （ 1）重測信度 （ 2）復(fù)本信度 （ 3）分半信度 （ 4）同質(zhì)信度 (內(nèi)部一致性信度） （ 5）評(píng)分者信度 ? 重測信度是指用同一個(gè)對同一組被試施測兩次所得的結(jié)果的一致程度。(nology/) 重測信度的使用前提條件： ，被試在所要測查的心理特質(zhì) 沒有獲得更多的學(xué)習(xí)和訓(xùn)練 例一 ? 用一個(gè)算術(shù)四則的速度測驗(yàn) 12個(gè)小學(xué)生，得分記為 X，為了考察測量結(jié)果的可靠性，于 3個(gè)月后再測一次，得分記為 Y，問測驗(yàn)結(jié)果是否可靠？ ? 學(xué)生序號(hào) 1 2 3 4 5 6 7 8 9 10 11 12 ? X 20 20 21 22 23 23 232425262627 ? Y 20 21 21 20 23 23 252526262729 ? 復(fù)本信度是指兩個(gè)平行的測驗(yàn)測量同一批被試所得結(jié)果的一致性程度。 ? 復(fù)本信度的前提是構(gòu)造出兩份或兩份以上的真正平行的測驗(yàn)（即 A、 B卷） 分半信度是指將一個(gè)測驗(yàn)分成對等的兩半后，所有被試在這兩半上所得分?jǐn)?shù)的的一致性的程度。 例三 ? 對初中一年級(jí)學(xué)生進(jìn)行地理成績測驗(yàn)，每答對 1題得 1分，答錯(cuò) 1題得 0分，其測驗(yàn)結(jié)果如下表，試估計(jì)該測驗(yàn)的折半信度？ ? 學(xué)生序號(hào) 題 序 ? 1 2 3 4 5 6 ? 1 1 0 0 0 0 0 ? 2 0 0 0 1 0 0 ? 3 1 0 1 0 0 0 ? 4 1 1 0 0 1 0 ? 5 1 0 0 1 0 0 ? 6 1 1 1 0 1 1 ? 7 1 1 1 1 0 1 ? 8 1 1 0 1 1 0 ? 9 0 1 1 0 0 1 ? 10 1 1 1 1 1 1 評(píng)分者信度是指多個(gè)評(píng)分者給同一批人的答卷進(jìn)行評(píng)分的一致性的程度。 影響信度的因素 ? 被試 ? 主試者 ? 施測情境 ? 測量工具 ? 提高測量信度的常用方法 ? 適當(dāng)增加測驗(yàn)的長度 新增的項(xiàng)目必須同質(zhì)，新增的數(shù)量必須適度 ? 使用測驗(yàn)中所有試題的難度接近正態(tài)分布，并控制在中等水平。實(shí)測場地按測驗(yàn)手冊的要求進(jìn)行布置，減少無關(guān)因素干擾 二、測驗(yàn)的效度 測驗(yàn)的效度指的是測量的正確性和有效性，即它能夠測出所要測量的心理特質(zhì)與行為特征的程度。 內(nèi)容效度、構(gòu)想效度、實(shí)證效度 （ 1）內(nèi)容效度 內(nèi)容效度指測驗(yàn)題目對有關(guān)內(nèi)容或行為范圍取樣的適當(dāng)性，也就是測驗(yàn)所選的項(xiàng)目是否符合所要測量的東西，其代表性是否適當(dāng)。其具體步驟是： ? 明確欲測的內(nèi)容的范圍，包括知識(shí)與能力要求兩個(gè)方面。 ? 制定評(píng)定量表，考察題目對所測內(nèi)容的覆蓋率，判斷題目難度與能力要求之間的差異，還要考察各種題目數(shù)量與分?jǐn)?shù)的比例以及題目形式對內(nèi)容的適當(dāng)性，對整個(gè)測驗(yàn)的有效性作出總的評(píng)價(jià)。例 1 ? 還有一種是再測。這時(shí)，若后測成績顯著優(yōu)于前測。教學(xué)之后，再以復(fù)本測驗(yàn)施測，兩次測驗(yàn)分?jǐn)?shù)如下，試檢定測驗(yàn)的內(nèi)容效度？ ( ? 學(xué)生序號(hào) 1 2 3 4 5 6 7 8 9 10 ? 教學(xué)前 X 34 40 32 30 31 35 44 33 42 36 ? 教學(xué)后 Y 52 64 50 54 58 63 72 62 62 50 結(jié)論 ? 然后根據(jù)自由度 df=N1=9,查 t值表，尋得 顯著性水平 t的雙側(cè)臨界值為 t（ 9） =，而實(shí)際計(jì)算出的 [t]==t(9)，于是可以說，教學(xué)前后學(xué)生在兩個(gè)復(fù)本測驗(yàn)上得分的平均數(shù)有極顯著性差異，從而可以作出判斷， 《 物理 》 中該單元測驗(yàn)的內(nèi)容具有有效性，或內(nèi)容效度較高。 ? 內(nèi)容效度不適合用于能力傾向和人格測驗(yàn)。 （ 2）結(jié)構(gòu)效度的確定步驟 ? 提出理論假設(shè) ， 并把這一假設(shè)分解成一些細(xì)小的綱目 ? 依據(jù)理論框架，編制出具體題目。 （ 3）結(jié)構(gòu)效度的估計(jì)方法 ? 測驗(yàn)內(nèi)部尋找證據(jù)：根據(jù)某種理論構(gòu)想所編制的測驗(yàn)如果有內(nèi)