【正文】
系統(tǒng) ? 完全依賴自己去進行相關(guān)的評價是不能的; ? 單個人的評價總是片面的,但是每個人都可能給出“事實”的一個側(cè)面; ? 專家的評價有可能是扭曲的; ? 我們需要建立有效的評價系統(tǒng),它能夠集中大量的片段的、有偏差的評價信息,發(fā)展先進的信息挖掘技術(shù),給出背后完整的真實。 模型 : 完備的評價體系 ? M個評價對象,每個都擁有一個內(nèi)在的質(zhì)量 ? N 個評價者, 每個都有一個先驗給定的判斷能力 ? 每個評價者 i 都給目標(biāo) l 打出了自己的分?jǐn)?shù),因此,我們有一個完整的打分集合: ),2,1( MlQ l ??( 1 , 2 , , )iF i N?? ? ( 1 , 2 , , 。 1 , 2 , , )ilx i N l M??打分的組分 ? 由評價者 i 給目標(biāo) l 打出的分?jǐn)?shù)基本由下面三個成分組成 ? 其中 被評價對象的內(nèi)在質(zhì)量在評價者 i上的投影; ? 是評價者 i 給目標(biāo) l, 打分時 的系統(tǒng)偏差,反映了評價者的主觀傾向 ; ? 是評價者在打分時表現(xiàn)出來的隨機偏差,這個隨機量的方差是 ,它 反映了評價者的判斷能力大小 il l i il ilxQ ?? ? ? ?il?2i?il?liQInterrater Reliability and Interrater Agreement ? IRR: Estimates of IRR are used to address whether judges rank order targets in a manner that is relatively consistent with other judges. ? IRA refers to the absolute