【正文】 。目前這些信息流僅用于幫助人們消除歧義的錯(cuò)誤，但是最終輸出的事件流可以用來(lái)分析這種評(píng)估方法。 案 例 – 基于事件流分析的電子表格 電子表格評(píng)估產(chǎn)生于收集事件流的電子表格工作中。收集事件流是比較困難，因?yàn)橐占?關(guān)檢測(cè)結(jié)果，但它允許通過(guò)靈活性和計(jì)算機(jī)技術(shù)輔助評(píng)估進(jìn)行額外的分析，以達(dá)到可能的評(píng)估標(biāo)準(zhǔn)要求。在這種情況下，其實(shí)就是對(duì)已經(jīng)產(chǎn)生效果的方法進(jìn)行評(píng)估。在其他情況下，特別是有幾個(gè)人合作的時(shí)候，一起制作文件從而以何種方式產(chǎn)生的效果才是重要的。 大多數(shù)的 IT 工具提供許多同等功能的用戶來(lái)執(zhí)行相同的動(dòng)作，例如， 可以通過(guò)使用命令、制表符、空格等文字處理器將標(biāo)題放置成不同方式。如果采用的方法被評(píng)估，則是考官所出的試題靈活性小。 IT 技能的鍛煉可以通過(guò)評(píng)估來(lái)評(píng)估他的結(jié)果，這就是產(chǎn)生的最后文件，或用于生成評(píng)估結(jié)果的方法。 該評(píng)估 所提供的其中一項(xiàng)功能 就是 允許添加新的導(dǎo)師練習(xí)集以及給學(xué)生 反饋報(bào)告的數(shù)量和類型。 （ 1996） WordTask文字 處理評(píng)估包含評(píng)估方案套件的一部分 導(dǎo)師 的模塊。 但是 自動(dòng) 提醒考官不正確的命題的做法 可以減少這種可能性。這是因?yàn)榧寄艿脑u(píng)估難度在很大程度上依賴于大量的個(gè)人之間誤差的相互作用和錯(cuò)誤之間的相互作用，但是可以通過(guò)精心練習(xí)降低到一定程度。 問(wèn)題的設(shè)置 一般來(lái)說(shuō)，很多考官希望 根據(jù)自己的 能力 出考題 ，而不是從所提供的練習(xí)集 中選取試題 。 在實(shí)用技能的評(píng)審中，可以通過(guò)許多方式來(lái)增加評(píng)審的多樣性。 。 所有這些根據(jù)下面更詳細(xì)部分進(jìn)行考核在評(píng)估過(guò)程中，遇到的困難取決于以下幾點(diǎn) 。 誤的方法。 / 歷年成績(jī) /才能記錄在評(píng)估系統(tǒng)中 模型中的靈活性依賴于： 。 ，對(duì)錯(cuò)誤答案進(jìn)行分類。 。 一個(gè)典型的 IT 技能評(píng)估，就像許多其他形式的評(píng)估一樣，練習(xí) /考試都遵循以下順序步驟。例如， 密鑰序列和鼠標(biāo)的使用。低水平的應(yīng)用幾乎總是評(píng)估工作的結(jié)果，例如，被輸入到電子表格的公式是作為一個(gè)電子表格的工作的一部分。它是利用這些近似匹配算法，把高層次的技術(shù)水平的評(píng)估從低技能的評(píng)估區(qū)分開(kāi)來(lái)。反饋的信息包括不正確的答案和解釋性的意見(jiàn)。在較高水平評(píng)估中，評(píng)估是按正確性度分級(jí)的，并有相當(dāng) 數(shù)量的有意義的資料反饋給考生。選巴黎的這個(gè)答案是明顯正確的，其余的都是不正確的。在較低的水平上進(jìn)行評(píng)估時(shí)，傳回的是正確或不正確，對(duì)于他們來(lái)講是些沒(méi)有什么有意義的反饋信息。 根據(jù) Bloom的級(jí)別，測(cè)試中提供給考生評(píng)估的體系中，越是高的學(xué)習(xí)和評(píng)估，越需要更大的靈活性。 級(jí)別 能夠創(chuàng)建的組件設(shè)置一個(gè)新的對(duì)象的能力 ,這要求具有規(guī)劃以及分析能力。 級(jí)別 運(yùn)用知識(shí)的能力和在新形勢(shì)的情況下使用規(guī)則，方法和原則的能力。 級(jí)別 把握材料的含義的能力，例如，總結(jié)材料或通過(guò)預(yù)測(cè)未來(lái)趨勢(shì)。他和他的同事定義學(xué)習(xí)和評(píng)估的分層模型，他們認(rèn)為在 分層模型中模型越高所涉及的技能就越高。在基爾斯利（ 1998年）中也可以找到一些眾所周知的模型的總結(jié)。 有許多不同的學(xué)習(xí)模型，這些模型是多年發(fā)展而來(lái)的。靈活性增加了對(duì)評(píng)估系統(tǒng)功能的要求，如系統(tǒng)的 大小，在一定程度上由評(píng)估定制的開(kāi)發(fā)時(shí)間和開(kāi)發(fā)成本，評(píng)估系統(tǒng)要符合大量用戶的具體要求。這也意味著，其測(cè)試的結(jié)果和演習(xí)可以集成到用戶當(dāng)前的標(biāo)記處理和記錄系統(tǒng)。靈活的交貨方式和靈活運(yùn)用。因此開(kāi)發(fā)人員必須能預(yù)測(cè)未來(lái)的發(fā)展可能性，并把必要的靈活性應(yīng)用到當(dāng)前產(chǎn)品中，使新的開(kāi)發(fā)更加容易和便宜。 電腦化評(píng)估正在迅速變化著，其中部分是由于技術(shù)的進(jìn)步，部分由于算法的改善，以及市場(chǎng)評(píng)審使用的增加。這種系統(tǒng)將適用于一個(gè)廣闊的市場(chǎng)，一般的產(chǎn)品比專業(yè)的產(chǎn)品具有更大的銷售范圍。每個(gè) 利益相關(guān)者都有他們自己評(píng)價(jià)體系中的要求，而他們的要求可能也會(huì)發(fā)生沖突。 本文介紹了在以計(jì)算機(jī)為基礎(chǔ)的技術(shù)評(píng)估中，如何應(yīng)用技術(shù)來(lái)增加靈活性， 以及評(píng)估的潛在用途。考官在評(píng)估中獲得額外的靈活性，因?yàn)樗纯梢詫?duì)學(xué)習(xí)者的結(jié)果進(jìn)行評(píng)估，也可以對(duì)專業(yè)人員的方法以及結(jié)果進(jìn)行評(píng)估。 目前大多數(shù)電腦評(píng)審評(píng)估只有結(jié)果而看不到方法過(guò)程，因?yàn)檫@易 于自動(dòng)化。計(jì)算機(jī)軟件已成為考官一種輔助用來(lái)過(guò)濾信息，能夠幫助考官解決部分問(wèn)題但是問(wèn)題的最終解決對(duì)于考官而言仍然是一個(gè)難題。對(duì)于簡(jiǎn)單類型的評(píng)估，如多項(xiàng)選擇題，評(píng)估過(guò)程幾乎可以完全自動(dòng)化，不需要評(píng)估人的參與。對(duì)于考生而言，靈活性意味著用各種方式來(lái)回答一系列問(wèn)題來(lái)充分展現(xiàn)他 /她的知識(shí)或技能。例如對(duì)于開(kāi)發(fā)者而言，增加評(píng)估產(chǎn)品的靈活性意味著增加開(kāi)發(fā)成本，但也增加了潛在市場(chǎng)的規(guī)模。 1. The plexity and difficulty of the exercise set. 2. The number of equivalent correct answers. 3. The plexity of the assessment criteria. 4. The type and amount of feedback required. FLEXIBILITY IN PRACTICE There are many different ways in which flexibility is built into practical skills assessors. This section categorises some of the reasons and gives examples of such categories of flexibility which have been built into IT skills assessors. FLEXIBILITY IN THE MODEL Flexible Question Setting In general, many examiners wish to have the ability to set their own exercises, rather than select from the set of exercises provided. Providing the examiner with the tools to set their own exercises can be problematic for the producer of an automated assessor. The reason for this is that the difficulty of assessing IT skills exercises depends to a large extent on the amount of interaction between individual errors and this interaction between errors can be reduced to some extent by careful exercise design. If examiners or tutors are given the flexibility to generate their own exercises there is a danger that they may increase the difficulty of assessment and reduce the puterised assessors accuracy. Providing automated setting aids that alert examiners to bad practice can reduce this possibility. Example – WordTask Tutor’s Module, Dowsing et al. (1996) The WordTask wordprocessing assessor contains a Tutor’s Module as part of the suite of assessment programs. This module allows a tutor or examiner to customise the assessor to his/her needs. One of the functions provided