【文章內(nèi)容簡(jiǎn)介】 要，而 且 增加 的學(xué)習(xí)者 并 不能 帶 給你額外的什么有價(jià)值的信息。 仔細(xì) 挑選參加 小組評(píng)價(jià)的 學(xué)習(xí)者 非常 重要 ， 這些 評(píng)價(jià)材料的 學(xué)習(xí)者 應(yīng)該盡可能 地代表你的目標(biāo)人 群 。在理想的研究環(huán)境下 ，你應(yīng)該隨機(jī)挑選 學(xué)習(xí)者 ，這樣 才能把你的發(fā)現(xiàn)推廣到 整個(gè) 目標(biāo) 人群 。但是在 典型的學(xué)校、 業(yè) 界和成人教育環(huán)境下 ， 純粹 的隨機(jī)經(jīng)常是不可能的， 甚至 也 可能是 不希望 的 。 當(dāng)你無(wú)法隨機(jī)挑選 學(xué)習(xí)者 、或者你的挑選余地很小的時(shí)候，你要盡可能 地 確保 從目標(biāo)人群的 每種類型中至少選取一個(gè) 做 代表 ， 下面給出了目標(biāo)人群 類別的 幾種劃分 方法 ： ? 學(xué)業(yè)水平分 別 為 高 、中、 低 的學(xué)習(xí)者 ? 不同母語(yǔ)的 學(xué)習(xí)者 ? 熟悉某種 學(xué)習(xí)方式 （如網(wǎng)絡(luò)教學(xué)）的 學(xué)習(xí)者 ， 和 不熟悉這種 學(xué)習(xí)方式 的 學(xué)習(xí)者 ? 年輕 、沒(méi)有什么經(jīng)驗(yàn)的 學(xué)習(xí)者 ， 相對(duì) 更 成熟的 學(xué)習(xí)者 如果你的目標(biāo)組 同質(zhì)性高，分出這些子類別 并不成問(wèn)題，但是 如果 目標(biāo)人群具有不同的技能水平和背景， 設(shè)計(jì)師 就 應(yīng)該考慮 在小組評(píng)價(jià)樣本中包括每組 的代表。例如，你 不可能 基于 對(duì)高學(xué)業(yè) 水平 學(xué)習(xí)者 在 教學(xué)材料 上的表現(xiàn) ， 來(lái)推斷 低 學(xué)業(yè) 水平的學(xué)習(xí)者會(huì) 怎么樣 。通過(guò)挑選合適的 有 代表性 的 樣本，你 就能 對(duì) 教學(xué)中要做的修改 加深認(rèn)識(shí) 。 參加 小組 評(píng)價(jià)的 學(xué)習(xí)者 有時(shí)候也 可能 是有偏 差 的樣本，因?yàn)?他們可能是一些 比 一般人 更愿意 參 與教學(xué)的 學(xué)習(xí)者 。 設(shè)計(jì)師 必須 要 清楚 這個(gè)問(wèn)題 ， 并且 要 盡可能 地 獲得最具代表性的小組樣本， 要 考慮到 在 挑選小組評(píng)價(jià)參與者 時(shí) 所可能碰到的 所有限制因素。 另外還有一點(diǎn) 很重要：這 個(gè) 階段雖然被稱為“小組評(píng)價(jià)”，但是這個(gè)“小組”指的是 學(xué)習(xí)者 的數(shù)量，而不是 學(xué)習(xí)者 實(shí)際使用材料的環(huán)境 。 比如 ，如果你的教學(xué)材料需要 使用某個(gè)專門 設(shè)備，而你只 得到 一臺(tái)這樣的設(shè)備，那么你 就 必須要 讓 這 8 到 20 個(gè) 學(xué)習(xí)者 在單獨(dú)的環(huán)境下 使用 你的材料 進(jìn)行 學(xué)習(xí) 。進(jìn)行小組評(píng)價(jià)并不需要將所有的 學(xué)習(xí)者 同時(shí)集中到一間房間里 。 過(guò)程 小組評(píng)價(jià)的基本 過(guò)程 和一對(duì)一評(píng)價(jià) 中所采用的 截然不同。評(píng)價(jià)人員（或者教師）先 要 向?qū)W習(xí) 者解釋 ， 學(xué)習(xí)材料 正 處在開(kāi)發(fā)的 成 形階段， 需要得到如何改進(jìn)的意見(jiàn) 。說(shuō)完這些后 ，教師 就要 按照教學(xué)材料 所 設(shè)計(jì)的實(shí)際使用方式組 織 學(xué)習(xí)者使用 。如果有前測(cè)， 就 先進(jìn)行前測(cè)。在 整個(gè) 過(guò)程中，教師 要 盡可能少 地干預(yù)。只 有 在 設(shè)備出現(xiàn)問(wèn)題 ， 或者 某位 學(xué)習(xí)者學(xué)習(xí)過(guò)程 陷入困境 ， 難以繼續(xù)下去的時(shí)候，教師才可以出面解決。每個(gè)學(xué)習(xí)者 遇到的困難和解決辦法 也應(yīng)該 記錄下來(lái)，作為 改進(jìn)數(shù)據(jù)的一部分。 評(píng)測(cè) 和問(wèn)卷 小組評(píng)價(jià)的 其他 步驟還包括 進(jìn)行 態(tài)度問(wèn)卷 調(diào)查， 如果可能 ，與小組中的 某些 學(xué)習(xí)者 進(jìn)行深入 的 討論，聽(tīng)取他們的意見(jiàn) 。獲得學(xué)習(xí)者 對(duì)教學(xué) 反饋的主要目的是 為了 從他們 的感受中 發(fā)現(xiàn) 教學(xué)策略實(shí)施過(guò)程的優(yōu)劣 所在，所以所提出的問(wèn)題應(yīng)該體現(xiàn)教學(xué)策略的各個(gè)成分。 以 下問(wèn)題通常 情況下都可以使用 ： ? 教學(xué)有趣嗎？ ? 你 知道 你應(yīng)該學(xué)什么 嗎 ？ ? 教學(xué)材料直接和教學(xué)目標(biāo)相關(guān) 嗎 ？ ? 有足夠的練習(xí) 嗎 ？ ? 這些練習(xí)和教學(xué)目標(biāo)相關(guān) 嗎 ？ ? 測(cè)驗(yàn)?zāi)?真正 地 考察 你 對(duì)教學(xué)目標(biāo)的知識(shí) 嗎 ？ ? 在練習(xí)過(guò)程中，你 得到了足夠的反饋 嗎 ？ ? 當(dāng) 考試 答題時(shí)，你 感到自信 嗎 ？ 這些問(wèn)題都可以用在態(tài)度問(wèn)卷中， 然后在 和 學(xué)習(xí)者 進(jìn)行 討論 時(shí)再進(jìn)一步深入 。 通過(guò) 使用這些從 教學(xué)策略 的成分中導(dǎo)出 的 問(wèn)題， 諸如上 面列舉的 這些， 就 有可能把學(xué)習(xí)者的反饋 直接對(duì)應(yīng)到 教學(xué)材料 或 教學(xué)過(guò)程的某個(gè)部分。在 完成了材料的評(píng)價(jià)后，在 和學(xué)習(xí)者的討論中，教師 還 可以就 教學(xué)進(jìn)度 、 學(xué)習(xí) 興趣和材料難度等 方面 提問(wèn)。 數(shù)據(jù) 匯總 和分析 在 上述過(guò)程 中所 得到的 數(shù)據(jù) 信息和描述性信息都需要加以匯總和分析。 數(shù)據(jù) 信息包括測(cè)驗(yàn)成績(jī) 、所需要的 時(shí)間和 項(xiàng)目費(fèi) 用 。描述性 信息包括 從 態(tài)度問(wèn)卷、訪談中收集的評(píng)論，以及在試 驗(yàn)過(guò)程中 評(píng)價(jià)人員所做 的筆記。 成 果 小組 試驗(yàn) 和教學(xué) 修改 的目的是 產(chǎn)生高質(zhì)量 的教學(xué)，這樣的教學(xué)應(yīng)該在預(yù)設(shè)的 學(xué)習(xí)環(huán)境 中對(duì) 大多數(shù) 目標(biāo)學(xué)習(xí)者 都 有效。 對(duì) 教學(xué) 所做 的 修改 可能 很 簡(jiǎn)單， 比如換個(gè)例子，或者給測(cè)驗(yàn)題目換個(gè)詞， 增加分配給學(xué)習(xí) 的時(shí) 間 等，但 也 能需要對(duì) 教學(xué)策略 做較大的改動(dòng)（如動(dòng)機(jī)激發(fā)策略、目標(biāo)安排順序、教學(xué)傳遞 方式等），或者 改變 呈現(xiàn)給學(xué)習(xí)者的信息。一旦教學(xué)經(jīng)過(guò)了充分地修改，實(shí)地 試驗(yàn) 就可以開(kāi)始了。 在下一章中，我們將舉例說(shuō)明如何 匯總 數(shù)據(jù) ，如何確定它 們對(duì) 修改過(guò)程的影響 。在這一章，我們 集中注意力于 形成性評(píng)價(jià) 研究 和數(shù)據(jù)的采集。 實(shí)地試驗(yàn) 在形成性評(píng)價(jià)的最后 這個(gè) 階段，教師 要在一個(gè)與教 學(xué) 材料最終使用環(huán)境 盡可能相像的 學(xué)習(xí)環(huán)境 中進(jìn)行評(píng)價(jià) 。 這個(gè) 形成性評(píng)價(jià) 最后 階段的目的 之一 是確定在小組評(píng)價(jià) 之后所 做出的改動(dòng)是不是有效。另 外 一個(gè)目的就是 要 看 看 教學(xué)在它 預(yù)設(shè) 的使用 環(huán)境 下 是否能夠使用 —— 也就是說(shuō) ，在預(yù)設(shè)環(huán)境中從管理方面考慮實(shí)施該教學(xué)的可能性 。 為了回答這些問(wèn)題，所有的教學(xué)材料，包括 考試 卷 和教師手冊(cè)，都應(yīng)該加以改進(jìn)并做好實(shí)地 試驗(yàn) 的準(zhǔn)備。如果 可以找到 教師 實(shí)施 教學(xué)，那么 設(shè)計(jì)師 就不要再擔(dān)任這一角色了。 評(píng)價(jià)地點(diǎn) 在挑選實(shí)地試驗(yàn) 的地點(diǎn) 時(shí)，你可能會(huì)遇到以下兩種情況之一。第一 種情況是 ，你要在一個(gè)平常使用大班教學(xué)、固定步 驟的班級(jí)里試驗(yàn)?zāi)愕慕虒W(xué)材料，對(duì)于這些 學(xué)習(xí)者 來(lái)說(shuō)，使用自學(xué)材料 可能 是 很新奇 的 、不同以往的經(jīng)歷。因此，為 了給 新 教學(xué)過(guò)程 的實(shí)施 打好基礎(chǔ) ，你 需要 向 學(xué)生們 解釋怎么使 用這些教學(xué)材 料， 這些材料和他們平時(shí) 使用的有 什么 不同。你十有八九會(huì)看到 學(xué)習(xí)者 興趣高漲，但是如果他們的成績(jī) 沒(méi)有提高，那么他們的興趣高漲只是因?yàn)檫@種教學(xué)打破了他們?cè)械?教室 教學(xué)方式而已。第二 種情況是 ， 你可以在一個(gè)個(gè)性化教學(xué)的班級(jí)里試用 教學(xué)材料， 問(wèn)題是可能很難 找到 足夠多 合適 的 學(xué)習(xí)者 來(lái)使用你的教學(xué)材料， 因?yàn)檫@些 學(xué)習(xí)者 們 在學(xué)習(xí)材料的時(shí)候過(guò)于分化 。 評(píng)判 標(biāo)準(zhǔn)和數(shù)據(jù) 實(shí)地試驗(yàn) 與戲院的最后彩排很類似， 因?yàn)榻虒W(xué)都已經(jīng) 盡可能地修改完善好了，準(zhǔn)備 盡可能 地 按照最后的方式傳遞 。另外 ，與 彩排 類似 的一點(diǎn)是 ， 實(shí)地試驗(yàn) 的主要目的 是 要找出 并消除教學(xué)中 尚存 的 問(wèn)題。小組 試驗(yàn) 和 實(shí)地試驗(yàn) 有許多相似之處，兩類 試驗(yàn) 的過(guò)程中都要決定 學(xué)習(xí)者 的表現(xiàn)是否適當(dāng)， 教學(xué)的傳遞方式 是否可行；另一個(gè)相似之處是，二者都是采集學(xué)習(xí)者的成績(jī)和態(tài)度信息、 教師的 教學(xué) 過(guò)程和態(tài)度 ， 以及 諸如 時(shí)間、費(fèi)用、空間和設(shè)備等資源信息。 二者的最主要差別在于教學(xué)材料、學(xué)習(xí)者、過(guò)程、教師和環(huán)境的真實(shí) 程度 不同 。 挑選學(xué)習(xí)者 你 需要 找大約 30 個(gè) 學(xué)習(xí)者 來(lái)參加你的 實(shí)地試驗(yàn) 。 同樣，要確保 這些 學(xué)習(xí)者為教學(xué)材料所針對(duì)的目標(biāo)人群的代表 。因?yàn)?很難找到 “典型” 的 一組人 ，所以 設(shè)計(jì)師 經(jīng)常挑選幾個(gè)不同的小組來(lái)參加 實(shí)地試驗(yàn) 。這 樣的好處是有可能收集 所有目標(biāo) 環(huán)境 下的數(shù)據(jù)，這些環(huán)境如 開(kāi)放教室、傳統(tǒng)教學(xué) ， 以及遠(yuǎn)程學(xué)習(xí)中心。 如果 教學(xué)材料的目標(biāo) 教學(xué)地點(diǎn) 差別很大 ，那么 就有必要 多 選幾 個(gè)試驗(yàn)地點(diǎn)。 因?yàn)?在教學(xué)材料使用的時(shí)候， 設(shè)計(jì)師 可能 不 在 場(chǎng)，所以 設(shè)計(jì)師 應(yīng)該告訴老師應(yīng) 遵循的教學(xué)過(guò)程和需要采集的數(shù)據(jù)。 實(shí)施 實(shí)地試驗(yàn) 的 過(guò)程 進(jìn)行 實(shí)地試驗(yàn) 的 過(guò)程 和 進(jìn)行 小組 試驗(yàn)的過(guò)程類 似， 只有少許不同 。主要的 變化 是 設(shè)計(jì)師 的角色，在 實(shí)地試驗(yàn) 里， 設(shè)計(jì)師 除了觀察整個(gè) 教學(xué) 過(guò)程以外，不 再做其他事情，教學(xué) 由 一個(gè)典型的教師 實(shí)施 和 傳遞 。 因此， 設(shè)計(jì)師 可能需要設(shè)計(jì)和傳遞對(duì)教師 的培訓(xùn)，這樣教師才能知道 該 怎么使用 這個(gè) 教學(xué)材料 。 另外一個(gè)變化就是 考試題 減少 了 。 基于 小組評(píng)價(jià) 的 經(jīng)驗(yàn)， 對(duì)前測(cè)后測(cè) 進(jìn)行 了 修改，可能減少到 僅僅測(cè)試最重要的入門技能 和最重要的要教的技能 。 原因是， 在 開(kāi)發(fā)過(guò)程的這個(gè)階段，形成性評(píng)價(jià)主要關(guān)心的 是教學(xué)在預(yù)期的學(xué)習(xí)環(huán)境 下 的可行性。 問(wèn)卷也要進(jìn)行 修改 ， 更關(guān)注 設(shè)計(jì)師 認(rèn)為對(duì)教學(xué)的成功很關(guān)鍵的 環(huán)境 因素 。 總之，問(wèn)卷的問(wèn)題 集中在可能 影響教學(xué)成功的各種因素。對(duì)教學(xué) 使用過(guò)程 的觀察 ，與 學(xué)習(xí)者和教師訪談 ，都是非常有價(jià)值的。 數(shù)據(jù)匯總和解釋 實(shí)地試驗(yàn) 的數(shù)據(jù)匯總和分析過(guò)程和小組評(píng)價(jià)是一樣的。成績(jī)數(shù)據(jù)應(yīng)該按照教學(xué)目標(biāo)來(lái)組織， 同樣，只要有可 能，學(xué)習(xí)者和教師的態(tài)度信息也應(yīng)該按照教學(xué)目標(biāo)來(lái)組織 。按照這種方式進(jìn)行匯總的數(shù)據(jù) 可以幫助 確定 哪部分 教學(xué) 有效、哪部分教學(xué)無(wú)效 。從 實(shí)地試驗(yàn) 得來(lái)的信息 可 用 于規(guī)劃和進(jìn)行 對(duì)教學(xué) 的 最后修改。 成 果 實(shí)地試驗(yàn) 和對(duì)教學(xué)進(jìn)行最終修改的目的是為了 得到 有效的教學(xué)， 這樣的教學(xué)能夠使學(xué)習(xí)者產(chǎn)生要求 其 達(dá)到的學(xué)習(xí) 成績(jī) 和態(tài)度 ， 并且這個(gè)教學(xué)要 能夠在預(yù)想 的教學(xué) 環(huán)境 中 正常工作 。 根據(jù) 實(shí)地試驗(yàn) 所收集 的數(shù)據(jù)， 我們 要對(duì) 教學(xué)進(jìn)行 適 當(dāng) 地 修改。當(dāng) 修改 完成后，就可以開(kāi)始在 技能 應(yīng)用 環(huán)境 下的 形成性評(píng)價(jià)了。 應(yīng)用環(huán)境下的 形成性評(píng)價(jià) 我們已經(jīng)討論了形成性評(píng)價(jià)的三個(gè)階段， 這三個(gè)階段 都 要 采集學(xué)習(xí)者 成績(jī) 和 對(duì)教學(xué) 態(tài)度方面的 信息和數(shù)據(jù) ，每個(gè)階段的教學(xué)環(huán)境也不相同，從 一對(duì)一評(píng)價(jià) 時(shí)的 非正 式 環(huán)境 ， 到 實(shí)地試驗(yàn) 中真 實(shí) 的 學(xué)習(xí)環(huán)境。 但是 還 遺留了一個(gè) 問(wèn)題，就是學(xué)習(xí)者 能 否 在我們 稱 為“ 應(yīng)用 環(huán)境”—— 即 最終 需要運(yùn)用該 技能 的 環(huán)境 —— 的地方 運(yùn)用他學(xué)到的新技能。 沒(méi)有哪個(gè)新學(xué)的技能只是為了在 學(xué)習(xí) 的 過(guò)程中 使用，學(xué)習(xí) 技能 的 目的就是 要在 其他的時(shí)間、 其他的場(chǎng)合 運(yùn)用 這些技能 。 設(shè)計(jì)師 不能忽 視 這一點(diǎn)，而應(yīng)該在合適而可行的時(shí)候，在形成性評(píng)價(jià)的計(jì)劃中 包括 這方面的評(píng)價(jià) 。 設(shè)計(jì)師 需要確定所 教過(guò)的技能 是否能夠保持 ，是否會(huì)在 應(yīng)用 環(huán)境中使 用，這些技能 的使用是否對(duì)組織產(chǎn)生 了預(yù)期的 影響 。如果我們得到的是 回答是 否定的 話 ，那么 設(shè)計(jì)師 就 必須確定 這對(duì)培訓(xùn)的 修改 意味著什么 。我們接下來(lái)要描述的就是如何在 應(yīng)用 環(huán)境中進(jìn)行形成性評(píng)價(jià)，它可以在 學(xué)習(xí)環(huán)境形成性評(píng)價(jià)的 任何一個(gè)階段 之 后進(jìn)行 。 這 種在實(shí)際環(huán)境下進(jìn)行 的形成性評(píng)價(jià) 基本上 要 確定 三 件事情 。 首先 ，學(xué)習(xí)者是否意識(shí)到可以 在工作場(chǎng)所運(yùn)用他們學(xué)到的新技能 ，并且是不是已經(jīng) 在 這么做了 ？ 其次 ，如果已經(jīng)使用了這些技能 ，對(duì)組織產(chǎn)生了 什么 影響？ 最后， 學(xué)習(xí)者及其同事對(duì)改進(jìn)教學(xué)有何建議 ？ 因?yàn)?學(xué)習(xí)者后測(cè) 成績(jī)好而被認(rèn)為成功的教學(xué) ，并不 能保證學(xué) 習(xí)者 在工作上取得成功。 標(biāo)準(zhǔn)和數(shù)據(jù) 應(yīng)用點(diǎn) 的 評(píng)判 標(biāo)準(zhǔn)和數(shù)據(jù) 因環(huán)境而異，評(píng)價(jià)方法也要根據(jù)具體 地 點(diǎn)而 調(diào)整 。為了收集培訓(xùn)有效果的證據(jù)，我們需要挑選最適合的過(guò)程 ，你 可以考慮 從直接觀察 和公司記錄中獲得 績(jī)效數(shù)據(jù) ，以及從學(xué)習(xí)者、他們的同事，甚至他們的客戶那里得到觀點(diǎn)和態(tài)度 方面的 感性數(shù)據(jù) 。表 匯集了 一些 基本問(wèn)題、可能的數(shù)據(jù)來(lái)源以及數(shù)據(jù)采集 的 方法。在形成你自己的問(wèn)題的時(shí)候， 要 具體 說(shuō)明哪些技能是你的評(píng)價(jià)最感興趣的 。 表 應(yīng)用環(huán)境形成性評(píng)價(jià)要問(wèn)的問(wèn)題、數(shù)據(jù)來(lái)源和數(shù)據(jù)采集方法 問(wèn)題 數(shù)據(jù)來(lái)源 數(shù)據(jù)采集方法 1. 技能是 否得到了遷移？ 2. 如何使用技能 的 （頻 度 、環(huán)境）？ 3. 有哪些 物理環(huán)境、社會(huì)環(huán)境和管理方面的因素促進(jìn)了技能的遷移和使用 ？ 4. 有哪些物理環(huán)境 、社會(huì) 環(huán)境和 管理 方面 的因素 阻礙了技能的遷移和使用 ？ 5. 應(yīng)用所學(xué)技能是否有助于解決最初問(wèn)題？怎樣解決的？ 有何 證據(jù) ？ 6. 培訓(xùn)還可以怎樣改善 提高 ？ ? 學(xué)習(xí)者 ? 同事 /伙伴 ? 學(xué)習(xí)者的下屬