moocs的測驗評鑑機制

8月 27, 2014

教學、教學，既有「教」就有「學」，老師設計了教材，在台前線上諄諄教誨，學生到底學了多少 ? 為了瞭解學生在課後是否達到老師預定的教學目標，就需要以學習評量測驗一番。然而，MOOCs課程完全在線上進行，來自各方的大量學生又背景不一，這些特色是否代表需要不一樣的測驗評量方式呢 ?

線上環境中的學習評量

在線上環境中，許多實體環境中的評量方式都能應用，像是討論、繳交紙本報告，只是多了影音多媒體、線上討論區、web2.0工具(如podcast, flickr)這些科技可以使用，如果還要更有趣一些，也可以嘗試模擬(simulation)、遊戲或角色扮演。

另外，線上環境讓快速回饋變得容易，學生、老師、同儕可以更快互通訊息，老師可以在正式課程外的時間適時介入學習過程，學生也能及時發現和反應自己的問題。

不過事情都有兩面，線上環境中老師如果沒有常常關照學生的線上互動，恐怕對於學生的掌控能力會比實體課程更低，令人特別擔心作弊、抄襲的問題。

為了避免這種問題出現，可以出一些需要高階批判性思考才能回答的題目，避免出只要google就能找到答案的問題，而是設計需要熟讀多種課程用教材後才能回答的題目。

另外，還可以採取「形成性(formative)評量」，在學習過程中持續評量並提供回饋。可以是由學生自我評估或記錄自己的學習心路歷程，也可以由老師或同儕階段性的提供評量回饋。如此一來，除了能持續追蹤學生的發展過程，也能減輕只針對最終成果進行一次性評量的「總結性評量」帶來的壓力。

MOOCs的線上評量

MOOCs除了是線上課程，還具有「大量來自不同背景的學生」此特性。由於學生規模太大，難以由老師個人來一一評分，使得評分機制需要特別設計，才能讓學生願意接受非由教師給予的成績。

MOOCs另一個特色是「時間短」、「能吸附學生的力道弱」，因此要注意評量的次數、配分、難度，如果作業內容或評分方式太麻煩，可能就會造成很多學生打退堂鼓，而如果作業配分過度集中在某一周、或作業內容與授課內容無關，學生就不一定會照著老師預定的進度學習。但是老師也不應為了討好MOOCs使用者而設計簡單好完成的評量，最終還是要回歸老師希望課程能達到什麼效果，根據這樣的教學目的來設計評量方式。

如果是數理方面的學科，因為答案固定，許多都能交由電腦自動批改。甚至會因為更快完成批改，使學生不至於過很久、都忘記自己當時怎麼解題時才收到批改結果，學生能立刻訂正、重新上傳，而提升學習成效。人文、藝術、社會科學的學科則不這麼容易批改，因此就有不同的解決方案。

Edx發明了自動批改文章的工具，先讓老師依據rubrics批改一些文章，由機器學習哪些段落會得分、得分的原因，分出代表好文章的特徵，根據這些特徵來找出高分文章。另外，codecademy當你輸入正確答案時，電腦才會讓你進入下一題，也是一種很適合自學的自動評量方式。

Coursera進行的是同儕評分，隨機分配學生為彼此改作業，並以「雙盲、評分後才能被評分」等機制來促使同儕評分可以運作。由於這種機制突破由老師專業權威決定分數的傳統，因此獲得最多人的注目和討論。

同儕評分的注意事項

首先，rubrics的制定要很謹慎，除了要確切反應學習目標，也要簡單好懂。事實上，即便rubrics寫得非常清楚，學生還是會有很多關於怎麼進行、怎麼評分、遇到抄襲怎麼辦等等問題，助教要常去討論區蒐集同學的問題，盡快想出解決辦法，避免耽誤評分時間。

其次，由於學生來自各處，背景和程度不一，有些人不習慣寫申論題、有些人母語非課程授課語言，都會影響他們的作業品質，這使得評分標準很難一致，也很難說該怎麼評分比較公平。而其中有些人可能永遠評分就只會給兩個字、有些人可能會給長篇大論的建議，這種評分心態的差異，也會影響評分的一致性，難以讓所有學生產生相當的學習成效。

再者，學生的程度畢竟和老師不同，雖然給的分數可能差不多，但是就無法像老師一樣帶給學生新方向、給予當頭棒喝。甚至學生會被彼此誤導，或一面倒的支持多數學生所設想的立場、無法看到事件或概念的全面，因此悖離了課程當初規劃的目的。

要解決這個問題，最好能吸引一些專家來上課，可以特別讓這些專家評多一些作業，但是目前MOOCs主要都是導論入門課程，這種課程不會吸引到該領域專家來上。而且，學生數量多的MOOC才會吸引專家來看、有專家進駐的MOOC會吸引比較多學生，這樣子的循環會使一些冷門小班課程的同儕評分品質難以提升。

另一種解決方法是，在出題時就提醒學生有哪些面向可以思考、有哪些資源可以進一步查檢，並說明要詳加考慮這些的原因；在批改作業後，也可以提供一些專家或老師個人對於此題目的見解供學生參考。

第四，同儕評分很需要收到他人建議，來佐證他們評分的可信度，也才會覺得辛苦沒有白費。不過，目前的匿名設計讓學生不知道評分者是誰，無法回應評分者的建議，如此一來也就阻絕學生們自發性形成社群解決課業問題的機會，也不利打破砂鍋問到底的學生。

或許可以讓有意願的學生組成學習小組，除了匿名評分外，也可以和自己信任、景仰的同儕互相評分與回饋，得到更深入的評論內容。這些學習小組也可以自行善用社群網絡，除了能更即時的互動，也能提供感情上的支持(ex.FB按讚)，並有機會更了解各自所處的社群脈絡對其作品的影響。

最後，經由同儕互評，學生根據rubrics可以知道評分標準是什麼，了解自己該怎麼完成這份作業或測驗才會得到高分。但是，學生其實也會受到rubrics的限制，相信評分者提出的考量因素是最重要的，因此忽略學習的終極目的是要讓學生提出自己的問題、以自己的方式陳述和回應。對於更高層次的學習反而不利。

要解決這樣的問題，可以讓學生扮演專家，讓他自發性地提出身為專家會用什麼樣的標準來評量。為了妥適扮演專家，學生必須自行尋找更多關於專家的消息，所學到的將會更多。不過這種方式會帶給學生很大的負擔，對於MOOC吸引到的學生未必合適，要斟酌應用。

—–

除了同儕評分，其實也可以使用學習歷程檔案，記錄學生修習這門課時的歷程，自我檢討、和他人交流。特別是MOOCs使用者來自各個國家，讓學生分享課程所學如何實際應用在各自的生活當中、應用的過程有那些問題或反省，將能讓學生增廣見聞，這是善加利用MOOCs特色、提升學習成效的方式。

未來MOOCs如果要更進一步的推廣及獲得承認，評量方式必然會是很重要的議題，唯有評量標準應該要足以保證學生能獲得實體課程的學習成效，才會讓職場及高校機構願意背書，也才能讓這些開放教育的資源真正轉換為有價值的學歷。

文 / 柯俊如

參考資料

Assessing Online Learning: Strategies, Challenges and Opportunities

http://www.unh.edu/eunh/sites/unh.edu.eunh/files/docs/AssessingOnlineLearningReport.pdf

Assessment in MOOCs

http://halfanhour.blogspot.tw/2013/05/assessment-in-moocs.html

Pedagogical strategies and technologies for peer assessment in Massively Open Online Courses (MOOCs). http://wrap.warwick.ac.uk/54602/7/WRAP_O%27toole_ROToole%20Peer%20Assessment%20in%20MOOCs%20%281%29.pdf

Assessment Tools for MOOCs