【文章內(nèi)容簡介】 量（回歸分析、估計的標準誤等）第二章 教育測量的質量指標第一節(jié) 信度一、 信度的概念信度指測量結果的穩(wěn)定性或可靠性程度，亦即測量的結果是否真實、客觀反映了老先生的實際水平。可從三個方面來考慮：第一，信度指實測值和真值相差的程度測量的目的之一，就是希望通過測量得到的實測值能夠接近事物的真值。但由于各種原因，實測值與真值之間必然存在誤差。但誤差越小，說明信度越高。x(實測值) = T（真值） + E（誤差）由于真值是未知的，因此誤差值是大是小也是未可知的。一般為求得最接近的實測值都是通過多次實測取其平均值來作為真值的近似值。但這一方法缺乏實際可操作性，也無法求得信度的大小。第二，信度是指統(tǒng)計量與參數(shù)之間的接近程度統(tǒng)計量和參數(shù)是統(tǒng)計學中的兩個基本概念。統(tǒng)計量是指樣本上的各種數(shù)字特征（如樣本的平均數(shù)、標準差等），參數(shù)是總體上的各種數(shù)字特征（如總體的平均數(shù)、標準差等）。統(tǒng)計量越接近參數(shù)，這個統(tǒng)計量的可靠性程度就越高，因此信度越高。而要知道統(tǒng)計量與參數(shù)的接近程度高，可以對參數(shù)進行區(qū)間估計，這種方法對估計真分數(shù)有用，但仍然無法計算出信度。第三，信度指兩次重復測量或等值測量之間的關聯(lián)程度。如果對同一對象進行兩次重復測量或者等值測量后，計算兩次測量的相關系數(shù)，相關系數(shù)越高，說明測量的信度越高；反之，信度越低。但應注意的是，重復測量會受到被試的經(jīng)驗、知識的增長等因素的影響，等值測量又較難編制，因此，采用這種方法計算信度時，也是有誤差的。信度是任何一個測量的必要條件，對于教育測量來說，它具有更為重要的意義。因為教育測量的對象主要是精神現(xiàn)象，所測量的特性不易把握，為了能真實地反映測量對象的某種特點，更加需要注意測量的信度。二、信度的理論公式見P32。這里需要注意的是，對實得分數(shù)進行分解后，可以分解成真分數(shù)的方差、隨機誤差的方差兩部分。很明顯，隨機誤差的方差越小，測量的信度就越高。信度取值范圍為[0，1]。三、信度的類型用上面的理論公式計算不了信度，因為真分數(shù)根本不知道，如果知道就不用算了。實際中常用以下幾種方法（也就是幾種不同的信度）：（一）穩(wěn)定性系數(shù)（重測信度）指用同一測驗試卷，在先后兩個不同時間內(nèi)對同一組被試進行測驗，兩次測驗實得分數(shù)的相關系數(shù)。這是最簡單的估量信度的方法。要注意的是：（1）重測法只適用于速度測驗而不適用于難度測驗；（2）所測的信度大小，常常受到兩次測驗時間間隔長短影響；（3）第二次測驗沒有吸引力，不易引起被試的興趣；（4）要實施兩次測驗，耗費人力、物力和時間較多。（二）等值性系數(shù)當同一測驗的一種型式不能或不適合實施兩次時，就需要采用該測驗的另一個平等測驗或者復份（復本）。復份要求在測驗的內(nèi)容、題數(shù)、格式、難度、平均數(shù)、標準差等方面應與原測驗一樣，否則，估計的等值系數(shù)就會出現(xiàn)較大誤差。決定等值系數(shù)的方法是，先實施第一次測驗，然后在最短時間內(nèi)實施第二份等值的測驗，再求它們的相關系數(shù)，這個相關系數(shù)就是信度的等值性系數(shù)。采用復份法估計信度系數(shù)要注意：（1）兩次測驗試卷要等值，即在內(nèi)容范圍、題型、題數(shù)、難度、區(qū)分度等方面要基本相同；（2）兩次測驗要盡可能在較短的時距內(nèi)進行；（3）確定兩次測驗是否等值，還要考察兩次測驗結果的平均數(shù)與標準差。但在實際操作中，要編制兩份等值的測驗是非常困難的。（三）內(nèi)部一致性系數(shù)前面兩種估計信度系數(shù)的方法都是要測驗兩次的，但在實際的測驗之中，一方面教師很難編制兩份等值的試卷，學生也沒有那么多時間和精力重復參加測驗。因此需要根據(jù)一次測驗來估計測驗的信度系數(shù)。這就是內(nèi)部一致性系數(shù)，即把一次測驗人為地分成兩個部分，比較兩個部分的一致程度，從而估計信度系數(shù)。按照分成兩個部分的不同，內(nèi)部一致性系數(shù)的估計方法有兩種：分半信度這種方法是將一次測驗分成兩個假定相等而獨立的部分來記分，通常是以題目的奇數(shù)為一組，偶數(shù)為一組，計算兩組的相關系數(shù)，最后用斯皮爾曼—布朗公式校正，求得整個測驗的信度系數(shù)。（公式見教材）庫德爾—理查森公式法用這種方法只需要測驗一次，然后以各個問題的正確反應數(shù)為基礎（此可視為各題難度的信息），或根據(jù)各人部分的平均數(shù)和標準差，計算信度系數(shù)。庫德爾—理查森公式有好幾個，最常用的是rKR20和rKR21。rKR20的用法：以每題能正確回答的人數(shù)占總人數(shù)的百分數(shù)為基礎計算（每題只有通過或未通過兩種分數(shù)）。具體公式見教材。rKR21的用法：這個公式以各反應者總分的平均數(shù)和方差為基礎計算，無需各題難度的信息。公式見教材。計算內(nèi)部一致性系數(shù)，需要注意下列問題：A、若用分半法時，以按奇數(shù)題和偶數(shù)題分為兩半為宜。若把整個測驗分為前后兩半，一方面前半部試題與后半部試題未必等值，另一方面被試者在完成后半部試題時，可能因疲勞、厭倦等原因而影響回答質量，以致前后反應不一致，影響信度。B、若速率是測驗的重要因素，則不宜用分半法，因為速度測驗中試題的難度低，被試者得分多少，在很大程度上是因為答題的多少，分半法易使得分相同，從而夸大分半法的信度估計。C、如果答案多種多樣，得分也多種多樣時（如論文式考試），則不能用上列公式計算一致性系數(shù)。（四）論文式測驗的信度系數(shù)論文式測驗的評分，沒有嚴格的評分標準，以致同樣一個題目，不同的應試者的回答和得分都不一樣，所以無法用前面的公式，而要用克龍巴赫所創(chuàng)的α系數(shù)公式（見教材）。（五）評分者信度一般論文式考試，只能提供列出答案要點的參考答案而無固定的標準答案，因而不同的評分者對同一份試卷往往給分不同，甚至有很大懸殊。在作文測驗、投射測驗、品德測驗、創(chuàng)造力測驗等的評分中，都存在這個問題。計算這種信度需要區(qū)分評分者的人次數(shù)。若為2人評N份試卷，可用斯皮爾曼等級相關計算；若為三人以上評N份試卷，則用肯德爾和諧系數(shù)計算。四、提高信度的方法（一）信度以多大為宜：對于學科測驗，；；。（二）測量誤差的來源測驗本身所引起的誤差：測驗本身的有些因素會直接產(chǎn)生誤差：如題目格式中的判斷題猜測的可能性會很大；規(guī)定的時限；用詞不準確引起的誤解；題目的多少等。測驗所包括的測題樣本也會引起測量誤差。測驗的實施所引起的誤差：如指導語錯誤，對答案紙的錯劃、時間記錄的錯誤、主試本身的主觀影響、記分誤差等。被試引起的誤差：這是最難控制的誤差，具體表現(xiàn)為動機的作用；學習、發(fā)展和教育的影響；對于測驗的經(jīng)驗；測驗的焦慮；生理因素等。（三）提高測驗信度的方法適當增加測驗題目的數(shù)量，即可提高信度也可提高效度；測驗的難度要適中，這樣信度能達到最大，也能使測驗區(qū)分度達到最大；測驗的內(nèi)容應盡量同質；測驗的程序應統(tǒng)一，包括試卷統(tǒng)一、測驗開始時的指導語、回答問題的方式、分發(fā)及收回試卷的辦法、測驗時間的掌握等，特別應該提到的是，考試的組織問題、監(jiān)考問題等，這是關系到測驗信度的重要因素；測驗的時間要充分；評分要盡量做到客觀化、減少評分誤差。第二節(jié) 效度一、 概念指測量結果的準確性和有效性的程度，亦即測量是否達到了預期目的。首先，測量的效度始終是對一定的測量目的而言的。一般而言，任何測量都有某種特定的目的和功能，判斷效度高低，就是判斷測驗達到目的的程度。其次，測量的效度也是對測量的結果而言的。一種測量工具只能經(jīng)過實際測量，才能根據(jù)出來的結果判斷它的效度。所以也可以把效度理解為測量的結果正確反映所欲測量的特性或功能的程度。對于任何一種測量來說，只有當它的測量結果真實、正確地反映所欲測量的功能和特性時，才能認為這種測量是較為有效地或效度較高的。第三，一種測量的效度只是高或低的問題。因為，一種測量在編制時，總是針對一定目的而編制的。不存在無效度的測量，只是高或低的問題而已。第四，在教育測量中，效度問題比在其他領域的測量更為重要。因為，首先，教育測量的對象大多是精神現(xiàn)象，只能通過對其具有可測性的外部表現(xiàn)（如言語或動作等）的測量，以間接認識其心理活動、心理特征或知識水平等。其次，學生的心理活動、心理特征與其外部表現(xiàn)之間，一般僅具有相關關系而無函數(shù)關系，外部行為并不能準確無誤地反映某種心理狀態(tài)。此外，教育測量的對象不是物而是具有主觀能動性的人，人能有意識地調(diào)節(jié)自己的外部行為，掩蓋自己的內(nèi)心活動，這就增加了認識其精神現(xiàn)象的難度。二、效度的理論公式實得分數(shù)可分解為潛在真分數(shù)，系統(tǒng)誤差，隨機誤差三部分。具體關系見教材P43。三、效度的分類及估計（一）、內(nèi)容效度指測驗目的代表所欲測量的內(nèi)容和引起預期反應所達到的程度，也就是測量內(nèi)容的代表性程度。在編制測驗時，內(nèi)容效度是一個相當復雜和不易解決的問題。以成績測驗來說，固然要求測驗題目能代表所學習過的全部內(nèi)容，但僅僅在形式上做到這一點還不能保證足夠的內(nèi)容效度，因為學習成績的高低要從學習內(nèi)容的鞏固程度、理解程度和應用能力幾種行為反應去考察。如果測驗題目大多是只需要牢記教材就可以回答的問題，那么，對全面測驗學生的成績這一目的來說，內(nèi)容效度仍然不高。估計內(nèi)容效度的方法：邏輯分析的方法。這是根據(jù)教育學和心理學的理論，根據(jù)教學大綱要求，勾畫出學生掌握知識內(nèi)容的范圍和深度，提出應形成的技能名稱，然后以邏輯分析的方法估計測驗在多大程度上代表了這些內(nèi)容，在多大程度上能夠測量出所要測量的特性和功能。用測驗題目與教材內(nèi)容比較的方法。這需要先制兩個表：一個是測驗的雙向細目表（見第三章），分別列出所要測驗的各單元教材內(nèi)容在考題中應占的百分比和所要求的各種行為的反應在全部反應中的百分比。另一個表是測驗試題分類表，根據(jù)各單元教材內(nèi)容列出試題，并注明該題所要求的行為反應及其應占的百分比。然后對照這兩個表，根據(jù)各個部分相符合的程度判斷內(nèi)容效度的高低。（二）效標關聯(lián)效度又稱經(jīng)驗效度或統(tǒng)計效度，是以測驗分數(shù)和效標之間的相關系數(shù)來表示測驗的效度高低的。效標就是足以顯示測驗所欲測量的特性的變量或足以顯示測驗所欲測量的特性的變量，作為檢定效度的參照尺度。效標關聯(lián)效度又可分為同時效度和預測效度。同時效度指測驗與當前效標之間的關系程度；預測效度指測驗與將來的效標之間的關聯(lián)程度。如用全國高考的成績作為效標來檢驗高中畢業(yè)會考的成績，計算兩者的相關系數(shù)就是會考的同時效度；而用大學一年級的成績作為效標來檢驗高考的成績，兩者的相關系數(shù)就是高考的預測效度。效標是用來衡量測驗效度的尺度。具體而言，效標是辨別真?zhèn)蔚某叨龋斒挛餄M足該原則要求時，才能存在。效標是不能違反的。當然，標準可以提高，也可以降低。效標不僅隨著測驗的種類不同而不同，也可能隨時間而改變。選擇效標是件困難而重要的事情。通常教育測驗所依循的效標，可采用各學科成績和教師的評定結果；智力測驗的效標，可采用學科成績、教師評判的結果、學生總成績、受教育年限、年齡以及其他相關事物；能力傾向性測驗的效標，可采用特殊課程或特殊訓練的成績等；職業(yè)興趣測驗的效標，可采用從業(yè)人員實際服務成績或記錄；人格測驗的效標，很難找到，只能按編制者的主觀標準判斷，或以被試以后的行為或臨床資料作為效標。效標關聯(lián)效度的計算主要通過計算相關系數(shù)求得，可用積差相關、二列相關或點二列相關、四格相關和多元相關系數(shù)等。（參見有關教育統(tǒng)計學教材）。（三）結構效度指一個測量能實際測量出理論上的概念或心理特性的程度。它的目的在于用心理學的概念來說明分析測驗分數(shù)的意義，也就是說從心理學的理論觀點就測驗的結果加以解釋和探討。結構效度的研究是較困難和有爭議的，至今從概念上和數(shù)學上作了部分解釋。確定一個測量的結構效度之所以困難，是因為效標、構想不是直接可測的，因而不能計算測量與效標的相關。結構效度確定的方法如下：首先從某一結構理論出發(fā)，導出各項關于心理功能或行為的基本假設；據(jù)此編制測驗；然后由果溯因，以相關、實驗和因素分析的方法，檢驗測驗結果是否符合心理學上的理論見解。例如，從現(xiàn)代智力理論，可以推斷四項主要功能上的假設：（１）智力隨年齡增長；（２）智商是相對穩(wěn)定的；（３）智力受遺傳影響；（４）智力與學業(yè)成就有密切關系。因此，在根據(jù)上述的假設編制智力測驗后，就要從上述四個方面進行檢驗。由此可見，結構效度是由累積的證據(jù)來評價，不可能有單一的結構效度指標。確定一個測量的結構效度需要兩個重要步驟。首先，必須指出，這個測量和所用理論上認為應與之有關的其它測量，有顯著的相關。其次，必須指出，必須指出這個測量與所有理論上認為不應與之有關的其它測量，沒有明顯相關。四、提高效度的辦法（一）各種效度的要求不同測驗對效度系數(shù)有不同要求。例如，—；—；－，才能符合要求。對效度系數(shù)大小的要求，也受原始與獲得效標的測驗之間的相似性制約。若二者不相似，則效度系數(shù)偏低；若相似，則效度系數(shù)會高些。（二）影響效度的因素測驗組成方面：測題的性能是影響測驗效度的因素之一，如測驗的取材、長度、辨別力、難度及其編排方式等都和效度有關。測驗實施方面：一個測驗的效度要保證，主試應適當控制測驗情境，遵照測驗守則的各項規(guī)定實施。被試主觀狀態(tài)方面：被試的動機、興趣、情緒、態(tài)度和身體健康及是否充分合作與盡力而為等都能影響結果的可靠性和正確性。估計效度所依循的效標：選擇適當?shù)男耸墙y(tǒng)計效度的先決條件。如因所選效標不當，以致測驗的效度不能顯出，則測驗的價值可能被淹沒。一個測驗因其所采用的效標不同，其效度可能大相徑庭。從統(tǒng)計觀點來看，一個效標關聯(lián)效度受下列三個因素影響：（1）測驗信度；（2）效標變量測量的信度；（3）測驗變量和效標變量之間真正的相關程度。樣本方面：效度確認所依據(jù)的樣本，必須能代表某一測驗所擬應用的全體對象。一個測驗應用于不同的對象，由于他們在性別上、年齡上、教育程度上以及經(jīng)驗背景上的差別，其測驗功能不一致，效度也隨之而異。樣本規(guī)模大小對效度也有影響。樣本的異質性也會影響測驗的效度系數(shù)?？傊瑸榱嗽鲞M測驗的效度，必須要求測驗編制和實施程度的標準化，注意被試在測驗情境中的行為反應，并顧及適當樣本和效標的選擇，以建立符合測驗目的和功能的效度。（三）提高效度的辦法控制系統(tǒng)誤差。精心編制量表。首先，測驗內(nèi)容要確實能反映測驗目的；其次，題目