NTU MOOC

前情提要： 如何改善 MOOCs 中的互評機制--評分標準 Rubrics 在上一段文章中，我們看到了rubrics在同儕互評當中的應用。回到「改善互評成效」的初衷，我們還有另外一個努力的方向，就是「改進機制本身」。談到改進機制之前，則不得不先提到「機制設計」這門新興的經濟學分支。 機制設計(mechanism design)可說是跨越經濟學、賽局理論和工程科學的領域。以一個自由交易的市場來比喻，傳統的經濟學觀察並闡釋市場中買家和賣家的行為；賽局理論則進一步透過界定理性和均衡的概念，試圖預測市場未來合理的發展；然而，如果主導市場運作的管理者希望透過制定或修改市場運作的規則，促進某些特定事件的發生、或想將市場誘導往特定的方向前進，機制設計就是告訴管理者如何制定規則的學問，舉凡市場、拍賣、選舉、資源分配都是這門學問的應用範圍。 若以機制設計的角度來看現行的同儕互評，最顯而易見的問題即是：學習者沒有動機將自己的心力投注在同儕互評上。絕大多數的情況中，同儕互評只是一件必須完成的任務，這項任務無論是嘔心瀝血或草率執行，並不影響學習者自身的利益。在傳統的課堂當中，學習者和教學者或同儕都會面對面並長期互動；然而在MOOCs的世界裡，學習者甚至不知道互評中遇到的同儕身分，也不需要對自己做出的同儕互評結果負任何責任。不意外地，正如同賽局理論中單一賽局的均衡總是比重複性賽局來得差一般，MOOCs學習者對同儕互評結果的不滿從未止息(註1)、Coursera的幾位大老更是在探究同儕互評的文章中(註2)公開指出學習者的動機是一個必須解決的問題。直覺上，若能透過機制的改進、讓學習者有動機投注更多的心力進行同儕互評，每個單獨的評分結果都有機會更為準確，而整體的評分亦然。以此為目標，近年來學者們也提出了幾個不同的想法。 首先，加州大學聖塔克魯茲分校的de Alfaro(註34)團隊設計了一套名為「Crowdgrader」的線上評分系統。結合了近年興起的群眾外包(Crowdsourcing)和評分者(grader)，這套系統從名稱便不難看出與同儕互評的緊密關係。的確，這個系統最主要的用途就是在各式各樣的課堂當中實現「具動機的同儕互評」。除了將所有人對同一份作業的評分結果進行運算、得到該份作業最終的分數之外，系統還會依據單獨評分和最終分數的差異，對每個人的評分「準確度」進行衡量；而

By the courtesy of the Teaching Innovation Unit at the  Centre for Teaching and Learning Development  of the National Taiwan University (NTU), TELI participated in a professional development programme entitled “eProfessor” that was held on April 29-30, 2017 – the Labour Day long weekend. We have heard about the magic of this bootcamp from  Professor Benson Yeh  (former Director of the MOOC Project in NTU) for a couple of years – but seeing is believing. Success factors of NTU’s e-learning professional development programmes Blended with a Facebook closed group for pre-event communication and community building Intensive face-to-face sessions focusing on participatory learning Genuine sharing of successful and failing experiences by both invited speakers and participants Real-time support from organizing team: from video production to instructional design – prompt follow-up on the spot Some 30 teachers showed up at the training. Before the face-to-face programme began, t

前瞻的課程前導調查是臺大創新教學組的 ME (MOOCs Explorer，為創新教學人才實習計畫之實習生) 所負責的任務之一。在介紹課前調查如何執行之前，先跟大家講解為什麼會需要有課前調查。 差異化 臺大為了確保所製作的 MOOCs 有一流的品質，在開設每門 MOOC 前都必須有詳盡的規劃。其中非常關鍵的元素是「差異化」，意即能夠做出一門獨一無二的 MOOC。因此，在課程設計時，必須先了解目前在各大平台的同主題課程是如何開設，同時思考臺大可以如何將課程設計的更有特色。倘若今天臺大的課程與現有的課程沒有差異，對於 MOOC 學習者來說，就沒有動機去選擇臺大開設的課程。而有差異化的課程，能帶給修課者截然不同的修課體驗，也能吸引更多人修課。舉例來說，呂世浩老師所開授的「史記」，不死板地講歷史，更引領修課者學習如何思考，甚至在課堂上不斷啟發學生，也因此被網友評為「最有心的華語 MOOC」。 他山之石，可以攻錯 課程調查除了能讓臺大製作出具差異化的課程，也能讓臺大向其他學校的課程學習。隨著全世界越來越多學校加入製作 MOOCs 的行列，各式各樣創新的課程、學習活動、影視呈現方式等等設計也隨之更加多元與創新。而 ME 們在課前調查時，也會同時彙整這些資訊到創新教學組的資料庫中，做為臺大未來課程設計的參考。舉例來說，同樣是經濟學的課程，有些課程融入蘇格拉底式教學法，安排學生與授課老師對話，藉由對話的過程中講解經濟學的原理；而有另一些課程則融入經濟實驗遊戲，讓修課學生在遊戲的過程中理解經濟如何運作。藉由廣泛探索不同類型的課程，擴充我們對於課程製作的想像，也讓臺大製作出的課程能保持不斷變化與進步。 工作實況 實務操作上，臺大創新教學組會先與開課教授初步討論，取得大方向的共識，而藉由不同的分工一步步地決定課程設計與製作的細節。在確定大方向後，ME 會收到大方向主題，接著著手進行課程調查。課程調查可分為縱向就同一領域調查辨別差異，也可以是橫向從其他領域找尋靈感。在過程中，除了以教學者的角度觀察外，也必須以學習者的角度來思考。我們深信一門課的好壞不在於用了多新的科技，或多特別的教學法，而是學生能否有效學習；因此在課前調查時，我們時時刻刻會思考不同設計對於學習者的影響為何。 在課程前導調查告一段落後，ME 會隨著專案管理師、教學設計師、影視人員參