【文章內(nèi)容簡介】 要，而 且 增加 的學(xué)習(xí)者 并 不能 帶 給你額外的什么有價值的信息。 仔細 挑選參加 小組評價的 學(xué)習(xí)者 非常 重要 ， 這些 評價材料的 學(xué)習(xí)者 應(yīng)該盡可能 地代表你的目標(biāo)人 群 。在理想的研究環(huán)境下 ，你應(yīng)該隨機挑選 學(xué)習(xí)者 ，這樣 才能把你的發(fā)現(xiàn)推廣到 整個 目標(biāo) 人群 。但是在 典型的學(xué)校、 業(yè) 界和成人教育環(huán)境下 ， 純粹 的隨機經(jīng)常是不可能的， 甚至 也 可能是 不希望 的 。 當(dāng)你無法隨機挑選 學(xué)習(xí)者 、或者你的挑選余地很小的時候，你要盡可能 地 確保 從目標(biāo)人群的 每種類型中至少選取一個 做 代表 ， 下面給出了目標(biāo)人群 類別的 幾種劃分 方法 ： ? 學(xué)業(yè)水平分 別 為 高 、中、 低 的學(xué)習(xí)者 ? 不同母語的 學(xué)習(xí)者 ? 熟悉某種 學(xué)習(xí)方式 （如網(wǎng)絡(luò)教學(xué)）的 學(xué)習(xí)者 ， 和 不熟悉這種 學(xué)習(xí)方式 的 學(xué)習(xí)者 ? 年輕 、沒有什么經(jīng)驗的 學(xué)習(xí)者 ， 相對 更 成熟的 學(xué)習(xí)者 如果你的目標(biāo)組 同質(zhì)性高，分出這些子類別 并不成問題，但是 如果 目標(biāo)人群具有不同的技能水平和背景， 設(shè)計師 就 應(yīng)該考慮 在小組評價樣本中包括每組 的代表。例如，你 不可能 基于 對高學(xué)業(yè) 水平 學(xué)習(xí)者 在 教學(xué)材料 上的表現(xiàn) ， 來推斷 低 學(xué)業(yè) 水平的學(xué)習(xí)者會 怎么樣 。通過挑選合適的 有 代表性 的 樣本，你 就能 對 教學(xué)中要做的修改 加深認(rèn)識 。 參加 小組 評價的 學(xué)習(xí)者 有時候也 可能 是有偏 差 的樣本，因為 他們可能是一些 比 一般人 更愿意 參 與教學(xué)的 學(xué)習(xí)者 。 設(shè)計師 必須 要 清楚 這個問題 ， 并且 要 盡可能 地 獲得最具代表性的小組樣本， 要 考慮到 在 挑選小組評價參與者 時 所可能碰到的 所有限制因素。 另外還有一點 很重要：這 個 階段雖然被稱為“小組評價”，但是這個“小組”指的是 學(xué)習(xí)者 的數(shù)量，而不是 學(xué)習(xí)者 實際使用材料的環(huán)境 。 比如 ，如果你的教學(xué)材料需要 使用某個專門 設(shè)備，而你只 得到 一臺這樣的設(shè)備，那么你 就 必須要 讓 這 8 到 20 個 學(xué)習(xí)者 在單獨的環(huán)境下 使用 你的材料 進行 學(xué)習(xí) 。進行小組評價并不需要將所有的 學(xué)習(xí)者 同時集中到一間房間里 。 過程 小組評價的基本 過程 和一對一評價 中所采用的 截然不同。評價人員（或者教師）先 要 向?qū)W習(xí) 者解釋 ， 學(xué)習(xí)材料 正 處在開發(fā)的 成 形階段， 需要得到如何改進的意見 。說完這些后 ，教師 就要 按照教學(xué)材料 所 設(shè)計的實際使用方式組 織 學(xué)習(xí)者使用 。如果有前測， 就 先進行前測。在 整個 過程中，教師 要 盡可能少 地干預(yù)。只 有 在 設(shè)備出現(xiàn)問題 ， 或者 某位 學(xué)習(xí)者學(xué)習(xí)過程 陷入困境 ， 難以繼續(xù)下去的時候，教師才可以出面解決。每個學(xué)習(xí)者 遇到的困難和解決辦法 也應(yīng)該 記錄下來，作為 改進數(shù)據(jù)的一部分。 評測 和問卷 小組評價的 其他 步驟還包括 進行 態(tài)度問卷 調(diào)查， 如果可能 ，與小組中的 某些 學(xué)習(xí)者 進行深入 的 討論，聽取他們的意見 。獲得學(xué)習(xí)者 對教學(xué) 反饋的主要目的是 為了 從他們 的感受中 發(fā)現(xiàn) 教學(xué)策略實施過程的優(yōu)劣 所在，所以所提出的問題應(yīng)該體現(xiàn)教學(xué)策略的各個成分。 以 下問題通常 情況下都可以使用 ： ? 教學(xué)有趣嗎？ ? 你 知道 你應(yīng)該學(xué)什么 嗎 ？ ? 教學(xué)材料直接和教學(xué)目標(biāo)相關(guān) 嗎 ？ ? 有足夠的練習(xí) 嗎 ？ ? 這些練習(xí)和教學(xué)目標(biāo)相關(guān) 嗎 ？ ? 測驗?zāi)?真正 地 考察 你 對教學(xué)目標(biāo)的知識 嗎 ？ ? 在練習(xí)過程中，你 得到了足夠的反饋 嗎 ？ ? 當(dāng) 考試 答題時，你 感到自信 嗎 ？ 這些問題都可以用在態(tài)度問卷中， 然后在 和 學(xué)習(xí)者 進行 討論 時再進一步深入 。 通過 使用這些從 教學(xué)策略 的成分中導(dǎo)出 的 問題， 諸如上 面列舉的 這些， 就 有可能把學(xué)習(xí)者的反饋 直接對應(yīng)到 教學(xué)材料 或 教學(xué)過程的某個部分。在 完成了材料的評價后，在 和學(xué)習(xí)者的討論中，教師 還 可以就 教學(xué)進度 、 學(xué)習(xí) 興趣和材料難度等 方面 提問。 數(shù)據(jù) 匯總 和分析 在 上述過程 中所 得到的 數(shù)據(jù) 信息和描述性信息都需要加以匯總和分析。 數(shù)據(jù) 信息包括測驗成績 、所需要的 時間和 項目費 用 。描述性 信息包括 從 態(tài)度問卷、訪談中收集的評論，以及在試 驗過程中 評價人員所做 的筆記。 成 果 小組 試驗 和教學(xué) 修改 的目的是 產(chǎn)生高質(zhì)量 的教學(xué)，這樣的教學(xué)應(yīng)該在預(yù)設(shè)的 學(xué)習(xí)環(huán)境 中對 大多數(shù) 目標(biāo)學(xué)習(xí)者 都 有效。 對 教學(xué) 所做 的 修改 可能 很 簡單， 比如換個例子，或者給測驗題目換個詞， 增加分配給學(xué)習(xí) 的時 間 等，但 也 能需要對 教學(xué)策略 做較大的改動（如動機激發(fā)策略、目標(biāo)安排順序、教學(xué)傳遞 方式等），或者 改變 呈現(xiàn)給學(xué)習(xí)者的信息。一旦教學(xué)經(jīng)過了充分地修改，實地 試驗 就可以開始了。 在下一章中，我們將舉例說明如何 匯總 數(shù)據(jù) ，如何確定它 們對 修改過程的影響 。在這一章，我們 集中注意力于 形成性評價 研究 和數(shù)據(jù)的采集。 實地試驗 在形成性評價的最后 這個 階段，教師 要在一個與教 學(xué) 材料最終使用環(huán)境 盡可能相像的 學(xué)習(xí)環(huán)境 中進行評價 。 這個 形成性評價 最后 階段的目的 之一 是確定在小組評價 之后所 做出的改動是不是有效。另 外 一個目的就是 要 看 看 教學(xué)在它 預(yù)設(shè) 的使用 環(huán)境 下 是否能夠使用 —— 也就是說 ，在預(yù)設(shè)環(huán)境中從管理方面考慮實施該教學(xué)的可能性 。 為了回答這些問題，所有的教學(xué)材料，包括 考試 卷 和教師手冊，都應(yīng)該加以改進并做好實地 試驗 的準(zhǔn)備。如果 可以找到 教師 實施 教學(xué)，那么 設(shè)計師 就不要再擔(dān)任這一角色了。 評價地點 在挑選實地試驗 的地點 時，你可能會遇到以下兩種情況之一。第一 種情況是 ，你要在一個平常使用大班教學(xué)、固定步 驟的班級里試驗?zāi)愕慕虒W(xué)材料，對于這些 學(xué)習(xí)者 來說，使用自學(xué)材料 可能 是 很新奇 的 、不同以往的經(jīng)歷。因此，為 了給 新 教學(xué)過程 的實施 打好基礎(chǔ) ，你 需要 向 學(xué)生們 解釋怎么使 用這些教學(xué)材 料， 這些材料和他們平時 使用的有 什么 不同。你十有八九會看到 學(xué)習(xí)者 興趣高漲，但是如果他們的成績 沒有提高，那么他們的興趣高漲只是因為這種教學(xué)打破了他們原有的 教室 教學(xué)方式而已。第二 種情況是 ， 你可以在一個個性化教學(xué)的班級里試用 教學(xué)材料， 問題是可能很難 找到 足夠多 合適 的 學(xué)習(xí)者 來使用你的教學(xué)材料， 因為這些 學(xué)習(xí)者 們 在學(xué)習(xí)材料的時候過于分化 。 評判 標(biāo)準(zhǔn)和數(shù)據(jù) 實地試驗 與戲院的最后彩排很類似， 因為教學(xué)都已經(jīng) 盡可能地修改完善好了，準(zhǔn)備 盡可能 地 按照最后的方式傳遞 。另外 ，與 彩排 類似 的一點是 ， 實地試驗 的主要目的 是 要找出 并消除教學(xué)中 尚存 的 問題。小組 試驗 和 實地試驗 有許多相似之處，兩類 試驗 的過程中都要決定 學(xué)習(xí)者 的表現(xiàn)是否適當(dāng)， 教學(xué)的傳遞方式 是否可行；另一個相似之處是，二者都是采集學(xué)習(xí)者的成績和態(tài)度信息、 教師的 教學(xué) 過程和態(tài)度 ， 以及 諸如 時間、費用、空間和設(shè)備等資源信息。 二者的最主要差別在于教學(xué)材料、學(xué)習(xí)者、過程、教師和環(huán)境的真實 程度 不同 。 挑選學(xué)習(xí)者 你 需要 找大約 30 個 學(xué)習(xí)者 來參加你的 實地試驗 。 同樣，要確保 這些 學(xué)習(xí)者為教學(xué)材料所針對的目標(biāo)人群的代表 。因為 很難找到 “典型” 的 一組人 ，所以 設(shè)計師 經(jīng)常挑選幾個不同的小組來參加 實地試驗 。這 樣的好處是有可能收集 所有目標(biāo) 環(huán)境 下的數(shù)據(jù)，這些環(huán)境如 開放教室、傳統(tǒng)教學(xué) ， 以及遠程學(xué)習(xí)中心。 如果 教學(xué)材料的目標(biāo) 教學(xué)地點 差別很大 ，那么 就有必要 多 選幾 個試驗地點。 因為 在教學(xué)材料使用的時候， 設(shè)計師 可能 不 在 場，所以 設(shè)計師 應(yīng)該告訴老師應(yīng) 遵循的教學(xué)過程和需要采集的數(shù)據(jù)。 實施 實地試驗 的 過程 進行 實地試驗 的 過程 和 進行 小組 試驗的過程類 似， 只有少許不同 。主要的 變化 是 設(shè)計師 的角色，在 實地試驗 里， 設(shè)計師 除了觀察整個 教學(xué) 過程以外，不 再做其他事情，教學(xué) 由 一個典型的教師 實施 和 傳遞 。 因此， 設(shè)計師 可能需要設(shè)計和傳遞對教師 的培訓(xùn)，這樣教師才能知道 該 怎么使用 這個 教學(xué)材料 。 另外一個變化就是 考試題 減少 了 。 基于 小組評價 的 經(jīng)驗， 對前測后測 進行 了 修改，可能減少到 僅僅測試最重要的入門技能 和最重要的要教的技能 。 原因是， 在 開發(fā)過程的這個階段，形成性評價主要關(guān)心的 是教學(xué)在預(yù)期的學(xué)習(xí)環(huán)境 下 的可行性。 問卷也要進行 修改 ， 更關(guān)注 設(shè)計師 認(rèn)為對教學(xué)的成功很關(guān)鍵的 環(huán)境 因素 。 總之，問卷的問題 集中在可能 影響教學(xué)成功的各種因素。對教學(xué) 使用過程 的觀察 ，與 學(xué)習(xí)者和教師訪談 ，都是非常有價值的。 數(shù)據(jù)匯總和解釋 實地試驗 的數(shù)據(jù)匯總和分析過程和小組評價是一樣的。成績數(shù)據(jù)應(yīng)該按照教學(xué)目標(biāo)來組織， 同樣，只要有可 能，學(xué)習(xí)者和教師的態(tài)度信息也應(yīng)該按照教學(xué)目標(biāo)來組織 。按照這種方式進行匯總的數(shù)據(jù) 可以幫助 確定 哪部分 教學(xué) 有效、哪部分教學(xué)無效 。從 實地試驗 得來的信息 可 用 于規(guī)劃和進行 對教學(xué) 的 最后修改。 成 果 實地試驗 和對教學(xué)進行最終修改的目的是為了 得到 有效的教學(xué)， 這樣的教學(xué)能夠使學(xué)習(xí)者產(chǎn)生要求 其 達到的學(xué)習(xí) 成績 和態(tài)度 ， 并且這個教學(xué)要 能夠在預(yù)想 的教學(xué) 環(huán)境 中 正常工作 。 根據(jù) 實地試驗 所收集 的數(shù)據(jù)， 我們 要對 教學(xué)進行 適 當(dāng) 地 修改。當(dāng) 修改 完成后，就可以開始在 技能 應(yīng)用 環(huán)境 下的 形成性評價了。 應(yīng)用環(huán)境下的 形成性評價 我們已經(jīng)討論了形成性評價的三個階段， 這三個階段 都 要 采集學(xué)習(xí)者 成績 和 對教學(xué) 態(tài)度方面的 信息和數(shù)據(jù) ，每個階段的教學(xué)環(huán)境也不相同，從 一對一評價 時的 非正 式 環(huán)境 ， 到 實地試驗 中真 實 的 學(xué)習(xí)環(huán)境。 但是 還 遺留了一個 問題，就是學(xué)習(xí)者 能 否 在我們 稱 為“ 應(yīng)用 環(huán)境”—— 即 最終 需要運用該 技能 的 環(huán)境 —— 的地方 運用他學(xué)到的新技能。 沒有哪個新學(xué)的技能只是為了在 學(xué)習(xí) 的 過程中 使用，學(xué)習(xí) 技能 的 目的就是 要在 其他的時間、 其他的場合 運用 這些技能 。 設(shè)計師 不能忽 視 這一點，而應(yīng)該在合適而可行的時候，在形成性評價的計劃中 包括 這方面的評價 。 設(shè)計師 需要確定所 教過的技能 是否能夠保持 ，是否會在 應(yīng)用 環(huán)境中使 用，這些技能 的使用是否對組織產(chǎn)生 了預(yù)期的 影響 。如果我們得到的是 回答是 否定的 話 ，那么 設(shè)計師 就 必須確定 這對培訓(xùn)的 修改 意味著什么 。我們接下來要描述的就是如何在 應(yīng)用 環(huán)境中進行形成性評價，它可以在 學(xué)習(xí)環(huán)境形成性評價的 任何一個階段 之 后進行 。 這 種在實際環(huán)境下進行 的形成性評價 基本上 要 確定 三 件事情 。 首先 ，學(xué)習(xí)者是否意識到可以 在工作場所運用他們學(xué)到的新技能 ，并且是不是已經(jīng) 在 這么做了 ？ 其次 ，如果已經(jīng)使用了這些技能 ，對組織產(chǎn)生了 什么 影響？ 最后， 學(xué)習(xí)者及其同事對改進教學(xué)有何建議 ？ 因為 學(xué)習(xí)者后測 成績好而被認(rèn)為成功的教學(xué) ，并不 能保證學(xué) 習(xí)者 在工作上取得成功。 標(biāo)準(zhǔn)和數(shù)據(jù) 應(yīng)用點 的 評判 標(biāo)準(zhǔn)和數(shù)據(jù) 因環(huán)境而異，評價方法也要根據(jù)具體 地 點而 調(diào)整 。為了收集培訓(xùn)有效果的證據(jù)，我們需要挑選最適合的過程 ，你 可以考慮 從直接觀察 和公司記錄中獲得 績效數(shù)據(jù) ，以及從學(xué)習(xí)者、他們的同事，甚至他們的客戶那里得到觀點和態(tài)度 方面的 感性數(shù)據(jù) 。表 匯集了 一些 基本問題、可能的數(shù)據(jù)來源以及數(shù)據(jù)采集 的 方法。在形成你自己的問題的時候， 要 具體 說明哪些技能是你的評價最感興趣的 。 表 應(yīng)用環(huán)境形成性評價要問的問題、數(shù)據(jù)來源和數(shù)據(jù)采集方法 問題 數(shù)據(jù)來源 數(shù)據(jù)采集方法 1. 技能是 否得到了遷移？ 2. 如何使用技能 的 （頻 度 、環(huán)境）？ 3. 有哪些 物理環(huán)境、社會環(huán)境和管理方面的因素促進了技能的遷移和使用 ？ 4. 有哪些物理環(huán)境 、社會 環(huán)境和 管理 方面 的因素 阻礙了技能的遷移和使用 ？ 5. 應(yīng)用所學(xué)技能是否有助于解決最初問題？怎樣解決的？ 有何 證據(jù) ？ 6. 培訓(xùn)還可以怎樣改善 提高 ？ ? 學(xué)習(xí)者 ? 同事 /伙伴 ? 學(xué)習(xí)者的下屬