素質(zhì)測評的質(zhì)量分析(編輯修改稿)
2025-06-15 11:54 本頁面
【文章內(nèi)容簡介】 情境模擬等，都依賴于評分者的判斷，這種判斷的主觀性往往造成不同評分者的評分很不一致，因此有必要考慮評分者信度。 ?評分者信度是指不同評分者對同一對象進(jìn)行評定時的一致性。最簡單的估計方法就是隨機(jī)抽取若干份答卷，由兩個獨(dú)立的評分者打分，再求每份答卷兩個評判分?jǐn)?shù)的相關(guān)系數(shù)。評分者的評分越一致，評分者信度越高。（等級相關(guān)） 信度小結(jié)： ?各種信度評估的適用情景： ?重測信度評估側(cè)重考察測評跨時間的一致性和穩(wěn)定性； ?復(fù)本信度評估側(cè)重考察測評跨形式的一致性和等值性； ?內(nèi)部一致性信度評估主要反映的是一個測評內(nèi)部題目之間的關(guān)系，揭示測評的各個題目是否測量了相同的內(nèi)容或特質(zhì)。 ?評分者信度評估主要是考察評分者的主觀誤差。 思考題： ?與對某人品德測評分?jǐn)?shù)的可靠性進(jìn)行考察，隨機(jī)抽取其中 10個被試的分?jǐn)?shù)，分別是： 7 7 80、8 7 7 7 6 7 74，再次測評后 10個被試的分?jǐn)?shù)分別是： 8 7 8 8 8 88 8 80、 87。請問可以用什么方法評價測評的可靠性？ ?如果一個部門的三個經(jīng)理分別給部門的幾十位員工考核，你認(rèn)為應(yīng)當(dāng)怎樣檢查三位評分者評定的可靠性？ ?某面試考官對被試的 7項(xiàng)素質(zhì)進(jìn)行測評，總共面試了 8位被測者，其評定等級如下表，請考評一下這位面試考官的面試結(jié)果是否可靠？ 測評項(xiàng)目 被測者 1 2 3 4 5 6 7 A 3 6 5 1 4 2 7 B 5 6 4 1 3 2 7 C 2 7 5 1 4 3 6 D 3 6 7 2 4 1 5 E 4 7 6 2 3 1 5 F 4 5 6 2 3 1 7 G 3 7 4 2 5 1 6 H 2 7 4 1 6 3 5 Ri 26 51 41 12 32 14 48 122 測量的效度 ?效度是評價測量工具好壞的重要標(biāo)準(zhǔn)之一。較高的效度是一個良好的測量工具最重要的特性，是必要條件，也是選擇和評價測量工具質(zhì)量的重要依據(jù)。一般來說。效度的作用比信度的作用更為重要。如果一個測驗(yàn)效度很低，無論它的信度有多高，這項(xiàng)測驗(yàn)都沒有應(yīng)用價值。效度高的測量工具往往信度也高。 ?通過對效度的分析，可以了解對所要測量的心理學(xué)變量的測量準(zhǔn)確程度如何，以及對外在標(biāo)準(zhǔn)的預(yù)測能力怎樣。效度高的測量工具，既能夠準(zhǔn)確的測量出目標(biāo)心理特質(zhì)，又能夠根據(jù)測量結(jié)果做出正確的推論。 1221 效度及其影響因素 效度的概念 ?測量結(jié)果的效度就是 指測量的有效性 ，即能夠測量到所要測量目標(biāo)的程度，反映了測量結(jié)果對測量目標(biāo)的體現(xiàn)程度。效度的高低只有程度上的差別，不存在完全沒有或完全有的情況。 ?效度可以看作為對 有用性和準(zhǔn)確性 的測量，回答的是“對什么有用？”或“我怎么知道這個測驗(yàn)是否值得用？”的問題，一般被定義為 測驗(yàn)?zāi)軠y量到所要測量東西的程度 。在評價任何測驗(yàn)時這都是最重要的考慮。 ?“效度指從分?jǐn)?shù)進(jìn)行推論的證據(jù)的程度。” —— 英國 《 教育和心理測驗(yàn)標(biāo)準(zhǔn) 》 效度與信度的關(guān)系 ?二者的區(qū)別： 信度與效度的差別在于 所考慮的誤差不同 。信度考慮的是隨機(jī)誤差的影響；效度考慮的誤差包括隨機(jī)誤差和對測驗(yàn)?zāi)康臒o關(guān)的變量引起的系統(tǒng)誤差。 ?二者的聯(lián)系： 信度是效度的必要條件，但不是充分條件。換句話說，信度高不一定效度必然高。但效度高必定信度高。 效度的作用 ?就好像用磅秤測量身高，每次測量的結(jié)果都很一直穩(wěn)定（信度很高），但它并不能代表身高，也就是說其測量值并不反映身高這一屬性（效度很低），所以說，磅秤不是身高這一測量對象的適宜測量工具。 ?例如 ,一個數(shù)學(xué)測驗(yàn)可能對學(xué)生的數(shù)學(xué)成績的預(yù)測效度很好，但對學(xué)生整體智力的預(yù)測效度就沒有那么好，對學(xué)生的性格可能根本就沒有預(yù)測效度。 效度的影響因素 ?一個測驗(yàn)效度的高低，很大程度上取決于該測驗(yàn)受無關(guān)因素影響的程度。凡是能造成測驗(yàn)結(jié)果誤差的因素，都會影響測驗(yàn)效度。 ?測驗(yàn)題目的質(zhì)量：難易程度、暗示性、題意表達(dá)、試題內(nèi)容取樣的代表性 ?實(shí)施測驗(yàn)時的干擾因素：指導(dǎo)語、計分錯誤 ?被試的影響因素：反應(yīng)定勢、測驗(yàn)動機(jī)、情緒 ?測驗(yàn)的長度：增加測驗(yàn)題目往往能增加測驗(yàn)的信度和效度。 1222 效度的評估方法 ?對測量效度的考察反映在下面兩個問題之中： ?該測驗(yàn)?zāi)軌蚝芎玫念A(yù)測我們感興趣的成績嗎？ ?該測驗(yàn)真正測量的是什么？ ?第一個問題集中于效標(biāo)，也就是判斷一個測驗(yàn)預(yù)測的成功性的標(biāo)準(zhǔn)。這就要求建立測驗(yàn)成績與那個標(biāo)準(zhǔn)之間的關(guān)系。（預(yù)測效度） ?第二個問題集中于測驗(yàn)，要求明確關(guān)于測驗(yàn)所測量目標(biāo)的內(nèi)在理論或心理構(gòu)想。（內(nèi)容效度） 內(nèi)容效度 content validity ?內(nèi)容效度是一個測驗(yàn)實(shí)際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度，是檢查測驗(yàn)內(nèi)容是否是所預(yù)測量的行為領(lǐng)域的代表性取樣的指標(biāo)。 ?在實(shí)際工作中我們編制的測驗(yàn)不可能包含所要測量的行為領(lǐng)域的全部可能的材料或情境，只能選擇一個有代表性的樣本，通過觀察被試對個別題目的反應(yīng)，來推測他的總體行為表現(xiàn)。 ?應(yīng)用范圍：主要應(yīng)用于成就測驗(yàn)、職業(yè)選拔和分類人事測驗(yàn)。 ?內(nèi)容效度適合于選拔和分類人事測驗(yàn)，因?yàn)檫@類測驗(yàn)內(nèi)容是實(shí)際工作的一個樣本，應(yīng)包含實(shí)際工作所需要的技能和知識，通過內(nèi)容效度的分析來確定測驗(yàn)是否測量了實(shí)際工作中需要的知識和技能。 ?內(nèi)容效度一般不適用于能力傾向測驗(yàn)和人格測驗(yàn)，因?yàn)檫@類測驗(yàn)不太要求與所取樣的行為領(lǐng)域的內(nèi)在相似性，其測驗(yàn)
公司管理相關(guān)推薦
鄂ICP備17016276號-1