2017年1月6日 星期五

MOOC 中的同儕互評機制(二):MOOCs 中互評機制的成效與影響

前情提要:為什麼 MOOCs 需要互評機制?


說到在 MOOCs 中實施互評的機制,從教學方的觀點,最關心的當然是互評的準確性了。關於這點,近二十年有許多現場的教育工作者在實驗性的使用互評之後,對得到的結果進行分析。在 Falchikov 和 Goldfinch 在上世紀末的研究(註3)中,互評機制在高等教育的實體課堂中展現了潛力,結果顯示互評的結果和教師批改的成績之間有顯著的相關(r=0.69);在中學的實體課堂中,甚至曾有相關性達到0.9以上的結果出現(註4)。然而,MOOCs 的學習者來自不同的年齡層、語言、專業背景,他們之間的同質性,比起實體課堂中的學生低得多;我們可以預期,由於學習者之間的差異更大,互評的準確性在 MOOCs 的世界中應該需要打一些折扣。

除了驗證互評的準確性之外,從眾多的研究中,學者們也漸漸為互評機制發展出了一套依循的準則;其中最為重要的,就是「教學方應提供清楚、實際、易懂、一致的評分標準讓評分者參照」,這樣的評分標準也就是所謂的 Rubrics,我們將在下一段中詳細討論。其他的準則如:避免將評分標準切得過細(註5)、評分者的數量最好介於3~6個之間(註6、7)等等,漸漸成為了現今主要 MOOCs 平台上,被教學方廣泛採用的準則。

而從學習方來看,互評機制的成效有好有壞。雖然為他人評分的過程對學習的幫助早已被證實,但學習者最在意的成績,則很容易在互評機制中受到影響,而研究結果也顯示,學習者對於互評機制的滿意程度普遍不如教學者。一方面,學習者只能看到自己的作品經過互評後的結果、以及和自己期待上的落差,卻無從與其他人比較,有見樹不見林的效應;二方面,單一學習者的個體差異本來就可能導致錯誤的期待(註8)。有趣的是,雖然學習者並不一定滿意自己從互評機制中得到的成績,卻普遍支持保留互評機制(註9);畢竟對於學習者來說,即使由較具權威性的教學者來評分,也一樣會有主觀評分的問題(註10)。

隨著研究成果不斷發表、實務經驗的漸漸成熟,大家已經取得共識:將互評機制運用在 MOOCs 上是一個能有效解決問題的方式。然而,大家也同時看到了現有互評機制的極限,例如無法妥善處理具爭議性(註11)或專業度高(註12)的作品、無法提供動機讓學習者認真對其他人的作品進行評分(註13)等等。為了讓互評機制在 MOOCs 中能更為完善,這些不足之處顯然是必須被改善的。
文/柯劭珩


下集預告:如何改善 MOOCs 中的互評機制(一):評分標準 Rubrics


註3:Falchikov, N., & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of educational research, 70(3), 287-322.
註4:Sadler, P. M., & Good, E. (2006). The impact of self-and peer-grading on student learning. Educational assessment, 11(1), 1-31.
註5:Falchikov, N., & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of educational research, 70(3), 287-322.
註6:Cho, K., Schunn, C. D., & Wilson, R. W. (2006). Validity and reliability of scaffolded peer assessment of writing from instructor and student perspectives. Journal of Educational Psychology, 98(4), 891.
註7:Luo, H., Robinson, A. C., & Park, J. Y. (2014). Peer Grading in a MOOC: Reliability, Validity, and Perceived Effects. Journal of Asynchronous Learning Networks, 18(2), n2.
註8:Cho, K., Schunn, C. D., & Wilson, R. W. (2006). Validity and reliability of scaffolded peer assessment of writing from instructor and student perspectives. Journal of Educational Psychology, 98(4), 891.
註9:Luo, H., Robinson, A. C., & Park, J. Y. (2014). Peer Grading in a MOOC: Reliability, Validity, and Perceived Effects. Journal of Asynchronous Learning Networks, 18(2), n2.
註10:Kulkarni, C., Wei, K. P., Le, H., Chia, D., Papadopoulos, K., Cheng, J., ... & Klemmer, S. R. (2015). Peer and self assessment in massive online classes. In Design thinking research (pp. 131-168). Springer International Publishing.
註11:Kulkarni, C., Wei, K. P., Le, H., Chia, D., Papadopoulos, K., Cheng, J., ... & Klemmer, S. R. (2015). Peer and self assessment in massive online classes. In Design thinking research (pp. 131-168). Springer International Publishing.
註12:Falchikov, N., & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of educational research, 70(3), 287-322.
註13:Luo, H., Robinson, A. C., & Park, J. Y. (2014). Peer Grading in a MOOC: Reliability, Validity, and Perceived Effects. Journal of Asynchronous Learning Networks, 18(2), n2.

沒有留言:

張貼留言