數據分析打造線上課程 — 直擊 Coursera 後台數據
為什麼讀這篇文章：
對一個學習者來說，MOOC 是一個全新的學習模式，按照自己的步調學習，MOOC 提供了客製化的學習路徑，而從製課方的角度來看，如何製作一門更滿足學習者需求的 MOOC 便成為了重要的任務。在這個大數據的時代下，Coursera 提供了製課方完整的數據資料，得以分析並完善 MOOC 課程。
這篇文章將介紹五類 Coursera 後台主要的數據資料，其中包含了測驗資料、成績數據、學習歷程、人口統計數據、與討論數據，並探討如何利用這些數據提升學習者的學習體驗。
在評測數據中，記錄了學習者提交的所有內容，而成績數據則是記錄了學習者針對單一評測提交所得到的最高成績，此外，學習者獲得這些成績的時間也將被記錄下來。舉例來說，當學習者對 Quiz1 進行了三次提交，分別得到 70, 90, 80 的分數，則成績數據中將僅會記錄 90 分的成績，以及其提交時間。有了這樣的資料，我們便可以觀察在學習者的學習歷程中，是否有某些評測的成績特別不理想，來檢視其難度是否合適。
另外，針對同儕互評的部分，學習者所接受到的所有評分將都會被記錄下來，這些評分將可以用來檢驗評分標準 (Rubrics) 的設計是否得宜，若同一份互評作業收到的評分浮動較大，則可能代表評分標準敘述不明確，造成主觀因素影響了學習者的成績。
美中不足的是，由於成績數據僅記錄了學習者最高的單次成績，而非像評測資料提供了所有提交的內容，我們無法明確地檢視學習者對於單一評測進行多次提交的成績歷程。不過，若是將評測資料做適當的處理，我們還是可以得到類似的成果，進而得以探討學習者在進行單一評測時的學習狀況。
有關 MOOCs 這樣的學習模式，最大的特點之一便在於學習者可以根據自己的狀況與喜好調整學習路徑與步調，Coursera 後台完整的記錄了每個學習者的學習歷程並與時間軸結合，例如我們可以知道一個學習者什麼時候觀看了某支課程影片或某份閱讀材料，甚至在影片的哪個時間點進行了快轉或倒轉重播。
透過學習歷程，製課方可以檢視課程模組的設計是否合適，而教學者也可以由學習者觀看課程影片的習慣得知自己有沒有講述不清楚的部分，作為將來修正的方向。回到創新教學的本質來看，就是要以學習者為中心進行教學設計，因此時常檢視學習者的學習歷程便顯得格外重要。
Coursera 為了保障學習者的隱私權，製課方除了透過的特定權限可以看到學習者的真實姓名外，只能得到經過加密 (Hashed) 過後的使用者身份 (user_id)，雖然這對資料的判讀與分析帶來了許多的困難，然而我們仍然可以透過其他的人口統計數據將學習者分類，並探討其與學習路徑、成效的關聯。
人口統計數據主要由學習者在個人資料的編輯畫面中所提供，其中包含：地理位置 (由 IP 位址得到)、使用語言、性別、年齡、學歷程度、工作狀態，我們主要可以從兩個角度來看這類的數據。第一，課程的設計容易吸引到什麼背景的學習者來修課；第二，什麼樣的學習者對課程有比較好的學習成效，如此我們便可以根據目標學習者更好的設計與製作課程。
為了增加學習者與教學者之間的互動，Coursera 設置了許多如論壇、文章留言板、問題表單等的功能，製課方也可以由其中所得到的回饋探索潛在的問題。例如在論壇中，若是針對某個主題的問題發表特別多，則我們可以推斷有很大的可能性教學者需要對教學內容進行修正；另外，我們也可以透過問題表單主動獲得我們所想要的資訊。
在數據分析的潮流下，進行這樣的工作彷彿已成了一種必然，然而數據終究只是一連串的資料，能從中看出端倪才是重要的。作為教學設計者，我們永遠要記得學習應該以學習者為中心，如何能讓教學內容更貼近學習者的需求才是我們所應關注的，也唯有如此，數據才不只是數據，而能成為讓教學持續進步的墊腳石。
對一個學習者來說，MOOC 是一個全新的學習模式，按照自己的步調學習，MOOC 提供了客製化的學習路徑，而從製課方的角度來看，如何製作一門更滿足學習者需求的 MOOC 便成為了重要的任務。在這個大數據的時代下，Coursera 提供了製課方完整的數據資料，得以分析並完善 MOOC 課程。
這篇文章將介紹五類 Coursera 後台主要的數據資料，其中包含了測驗資料、成績數據、學習歷程、人口統計數據、與討論數據，並探討如何利用這些數據提升學習者的學習體驗。
一、Assessment Data (測驗資料) — 學習者的回饋作業如何改善課程本身？
在 MOOC 的架構中，測驗是作為檢驗學習成效的重要工具，Coursera 平台中有著多樣的測驗形式，在測驗資料中，包含了學習者提交的所有測驗內容，例如選擇題所選的答案、開放式問題的回答等等，透過這些數據，製課方可以從多個面向來分析。
舉例來說，當學習者們對於某題選擇題答對率特別低時，便可以檢視題目是否有誤導的狀況，造成大部分人選擇另一個選項，又或者學習者對此題檢驗的概念尚不熟悉，便可針對教學內容加以修正。
此外，題目之間的回答狀況也可能有其關聯性，在同一部教學影片中，若是影片時間過長，學習者或許會在後段部分失去專注力，因此對知識點的掌握度較低，進而反映在數據中。製課方便可以從評測數據中檢視是否有類似的情況，來調整教學內容，以避免教學上的缺陷。
舉例來說，當學習者們對於某題選擇題答對率特別低時，便可以檢視題目是否有誤導的狀況，造成大部分人選擇另一個選項，又或者學習者對此題檢驗的概念尚不熟悉，便可針對教學內容加以修正。
此外，題目之間的回答狀況也可能有其關聯性，在同一部教學影片中，若是影片時間過長，學習者或許會在後段部分失去專注力，因此對知識點的掌握度較低，進而反映在數據中。製課方便可以從評測數據中檢視是否有類似的情況，來調整教學內容，以避免教學上的缺陷。
二、Course Grade Data (成績數據) — 成績數字背後還藏有什麼故事？
另外，針對同儕互評的部分，學習者所接受到的所有評分將都會被記錄下來，這些評分將可以用來檢驗評分標準 (Rubrics) 的設計是否得宜，若同一份互評作業收到的評分浮動較大，則可能代表評分標準敘述不明確，造成主觀因素影響了學習者的成績。
美中不足的是，由於成績數據僅記錄了學習者最高的單次成績，而非像評測資料提供了所有提交的內容，我們無法明確地檢視學習者對於單一評測進行多次提交的成績歷程。不過，若是將評測資料做適當的處理，我們還是可以得到類似的成果，進而得以探討學習者在進行單一評測時的學習狀況。
三、Course Progress Data (學習歷程) — 透過學習者的學習習性修正課程
透過學習歷程，製課方可以檢視課程模組的設計是否合適，而教學者也可以由學習者觀看課程影片的習慣得知自己有沒有講述不清楚的部分，作為將來修正的方向。回到創新教學的本質來看，就是要以學習者為中心進行教學設計，因此時常檢視學習者的學習歷程便顯得格外重要。
四、Demographic Data (人口統計數據) — 學習者背景和學習路徑有何關聯？
人口統計數據主要由學習者在個人資料的編輯畫面中所提供，其中包含：地理位置 (由 IP 位址得到)、使用語言、性別、年齡、學歷程度、工作狀態，我們主要可以從兩個角度來看這類的數據。第一，課程的設計容易吸引到什麼背景的學習者來修課；第二，什麼樣的學習者對課程有比較好的學習成效，如此我們便可以根據目標學習者更好的設計與製作課程。
五、Discussion Data (討論數據) — 如何從學習者的問題來修正課程？
回到以學習者為中心的初衷，才是數據分析的目標
撰文：臺大創新教學組 MOOC Explorer 江彥辰
留言
張貼留言