從線上學習者的行為資料挖掘黃金
科技和網路越來越發達，越來越多的日常生活行為在線上展現，留下可觀的紀錄資料，這些資料都能用來分析，讓人更了解使用者的行為，根據這些真實行為來修正現在提供的服務，或提供更符合個人需求的服務。
「Analytic」即「以資料引發決策」，這樣的概念在任何領域是共通的。「商業資料分析(Business analytic)」已行之有年，可以了解提供的新服務是否奏效，進而能增加營運績效、擴展在地和全球影響力、建立新的募款模式、回應課責性。用在學術機構，就稱為「學術(academic)資料分析」，由於高等教育機構的目標和資訊需求不同於商業，因此分析的測量方式和指標會有所不同。
不同於上述兩者，「學習資料分析(learning analytic)」重視的是學習成效和教育機構營運卓越度，透過蒐集和分析學生學習資料，可以觀察和理解學生的學習行為，提供證據說明機構要怎樣訓練才能達到目標，並讓教學者能適時調整教學活動。
這是近年來興起與發展中的新領域，2011年才出現這個領域的第一場國際研討會Learning Analytics and Knowledge (LAK)，來自資工、統計、程式、網絡分析、教育心理學的學者都表達對此領域感興趣。
「學習資料分析」(Leaning Analytics)的四要素
學習資料分析學會(The Society for Learning Analytics, SoLAR)是這麼定義的 :
「學習資料分析是為了理解和強化學習和學習發生的環境，測量、蒐集、分析和報告關於學習者及其脈絡的資料。」
可以看出，學習資料分析包含四個重要要素 :
學習者的資料類型
學習者的資料主要有兩種類型，一種是「學習者表現行為」，像是學生在特定時間內的觀看次數、正確完成特定活動的頻率；另一種是「學習者個人檔案」，像是學生的年紀、興趣、性別、居住地。
如果根據資料分析方式來分的話，則可以分成三種資料類型 : 數字性的統計資料、關注學習者彼此或與老師互動關係的社會網絡分析(SNA)資料、深入了解互動品質的質化分析資料。
這些資料透過學習資料分析工具來蒐集，由於資料可能來自社群網絡、遊戲、行動裝置、網站平台等不同資源，因此會產生多元的資料分析方式。通常這些工具會內建於數位學習管理系統內(各個主流MOOC平台也有建立)。不同的工具會留下不同的資料，也就會影響之後的分析。
像是SNAPP就根據討論區的貼文、回應訊息、開啟主題來做社會網絡分析，將學生分成「積極參與的學生、失聯的學生、資訊掮客」；內建於Desire2Learn的Student Success System根據學生成績、登入次數、討論貼文、測驗結果及嘗試次數偵測高危險學生；內建於blackboard的Course Signals則同時使用統計資料(GPA、測驗成績、年紀、居住地、取得學分等)和變動性資料(課程互動次數)預測哪些學生可能處於危險階段。
學習資料分析的使用
學習資料分析的使用者有各自的運用分析結果的方式。
利用學習資料分析，老師如果發現學生的參與頻率逐漸減少，或是在回應內容中發現情緒性字眼，就可以及早介入、避免中輟。如果學生在某個教學主題需要花很多時間重複觀看，或是該主題的測驗常出錯，就代表那個主題太難或是講解的不夠清楚，老師可以重新設計教學。
當然，老師也能觀察哪些行為代表學生感到滿意、投入其中，甚至有想進一步學習的意願，適時在此時補充更多相關內容，會讓學生的學習成效更好。
事實上，以往的教學評鑑往往在課程結束後才進行，那時候才調整授課方法和內容就太晚了，學習資料分析有助於讓老師即早回應學生、調整課程。
對於學生而言，一方面能追蹤自己的學習足跡，了解自己在哪些主題較熟練、哪些則常有問題，因此調整學習時間分配；另一方面，這些修課紀錄可以促成系統提供更客製化的課程推薦，學生可以更快的過濾出自己想修的課程，節省時間也增加專業度。Udacity和coursera替學生進行職場配對也是利用學生的修課紀錄，讓學生找到真正適合自己的工作。
對於教育研究者而言，則可以驗證教育理論和真實學習者的行為紀錄是否一致，使理論不會只是空談；研究者也可以由此了解線上學習環境的哪些特性促成了不同的學習經驗。
最後，對高等教育機構而言，領導者將可以比較軟價值(名聲、教學品質)和硬價值(專利、研究)，並因此促成更全面的行政決策和組織資源配置，也能提供證據證明學校的教學能力，或據此調整教育方法、回應新時代挑戰，機構的所有人將更容易形成對於成功和挑戰的共識。
學習資料分析的缺陷
學習資料分析可以告訴我們這麼多事，也難怪會被看成新世代的石油。然而，這些資料該由誰擁有、由誰控制分析、為了什麼目的使用、資料分析的程度都還是待解決的問題。
目前的狀況是，最主要的資料來源者「學生」卻是最難取得這些資料的人，而且當學生在網路上留下越多資料，也就越難保證這些資料不會外流。雖然有學者主張，資料的產生者擁有資料，可以選擇不提供資料，但是這樣又會影響到學習資料分析結果的正確性。到底在研究品質和研究倫理該如何平衡，學習者、老師、平台管理者的權力界線為何，都是未來值得進一步關注的問題。
最後，由於這還是一個發展中的領域，許多技術都來自其他領域，未來應該要出現特別為教育開發的技術。而且這些學習資料分析工具應該不能讓使用者覺得太複雜，才會吸引更多教育者使用，提供工具開發者可貴的回饋，共同發揮學習資料分析的進一步潛力。
註 : 學習資料分析小工具
以前如果學校想要做學習資料分析，必須自己建立一個系統，然而現在有越來越多的應用工具出現，使學校可以節省成本和時間，使學習資料分析在全世界都較之前更快速的發展，也因此越來越受到高等教育機構和政府部門的重視。在此只提供一些學習資料分析工具，網路上還可以找到更多。
延伸閱讀 : MOOC與學習資料分析、深度了解大規模線上課程的「滯留」(RETENTION)與「意圖」(INTENTION)
參考資料
How can educational data mining and learning analytics enhance education (infographic)
http://elearninginfographics.com/how-can-educational-data-mining-and-learning-analytics-enhance-education-infographic/
Penetrating fog analytics learning and education
http://www.educause.edu/ero/article/penetrating-fog-analytics-learning-and-education
Grades 2.0 : How learning analytics are changing the teachers role
http://www.edudemic.com/grades-2-0-how-learning-analytics-are-changing-the-teachers-role/
Learning Analytics: Envisioning a Research Discipline and a Domain of Practice
http://dl.acm.org/citation.cfm?id=2330605
Learning Analytics: The Coming Third Wave
http://www.educause.edu/Resources/LearningAnalyticsTheComingThir/227287
Top ed-tech trends of 2012 : Education data and learning analytics
http://hackeducation.com/2012/12/09/top-ed-tech-trends-of-2012-education-data-and-learning-analytics/
Top ed-tech trends of 2013 : Data privacy
http://hackeducation.com/2013/12/11/top-ed-tech-trends-2013-data-privacy/
Learning and Knowledge Analytics – Analyzing what can be connected (研究社群)
http://www.learninganalytics.net/
更多學習資料分析的討論
http://www.scoop.it/t/learning-analytics-in-higher-education?page=1
「Analytic」即「以資料引發決策」，這樣的概念在任何領域是共通的。「商業資料分析(Business analytic)」已行之有年，可以了解提供的新服務是否奏效，進而能增加營運績效、擴展在地和全球影響力、建立新的募款模式、回應課責性。用在學術機構，就稱為「學術(academic)資料分析」，由於高等教育機構的目標和資訊需求不同於商業，因此分析的測量方式和指標會有所不同。
不同於上述兩者，「學習資料分析(learning analytic)」重視的是學習成效和教育機構營運卓越度，透過蒐集和分析學生學習資料，可以觀察和理解學生的學習行為，提供證據說明機構要怎樣訓練才能達到目標，並讓教學者能適時調整教學活動。
這是近年來興起與發展中的新領域，2011年才出現這個領域的第一場國際研討會Learning Analytics and Knowledge (LAK)，來自資工、統計、程式、網絡分析、教育心理學的學者都表達對此領域感興趣。
「學習資料分析」(Leaning Analytics)的四要素
學習資料分析學會(The Society for Learning Analytics, SoLAR)是這麼定義的 :
「學習資料分析是為了理解和強化學習和學習發生的環境，測量、蒐集、分析和報告關於學習者及其脈絡的資料。」
可以看出，學習資料分析包含四個重要要素 :
- 資料蒐集 : 用程式等方法來蒐集來自單一或多元資源的結構化或非結構化資料，以量化或質化方法分析後，結果用視覺化、表格、圖表等方式展現。
- 學生學習 : 資料分析的核心目標是要了解「學習者在做什麼、他們花時間在哪些地方、他們使用了哪些內容、他們對話的本質、他們進展得如何」。
- 觀眾(分析結果的使用者) : 學習資料分析可以回饋給老師、學生、行政人員。
- 調整干預 : 學習資料分析不能只停留在蒐集階段，更要促成觀眾在個人、課程、部門、機構等層次進行即時且恰當的調整行動。
學習者的資料類型
學習者的資料主要有兩種類型，一種是「學習者表現行為」，像是學生在特定時間內的觀看次數、正確完成特定活動的頻率；另一種是「學習者個人檔案」，像是學生的年紀、興趣、性別、居住地。
如果根據資料分析方式來分的話，則可以分成三種資料類型 : 數字性的統計資料、關注學習者彼此或與老師互動關係的社會網絡分析(SNA)資料、深入了解互動品質的質化分析資料。
這些資料透過學習資料分析工具來蒐集，由於資料可能來自社群網絡、遊戲、行動裝置、網站平台等不同資源，因此會產生多元的資料分析方式。通常這些工具會內建於數位學習管理系統內(各個主流MOOC平台也有建立)。不同的工具會留下不同的資料，也就會影響之後的分析。
像是SNAPP就根據討論區的貼文、回應訊息、開啟主題來做社會網絡分析，將學生分成「積極參與的學生、失聯的學生、資訊掮客」；內建於Desire2Learn的Student Success System根據學生成績、登入次數、討論貼文、測驗結果及嘗試次數偵測高危險學生；內建於blackboard的Course Signals則同時使用統計資料(GPA、測驗成績、年紀、居住地、取得學分等)和變動性資料(課程互動次數)預測哪些學生可能處於危險階段。
學習資料分析的使用
學習資料分析的使用者有各自的運用分析結果的方式。
利用學習資料分析，老師如果發現學生的參與頻率逐漸減少，或是在回應內容中發現情緒性字眼，就可以及早介入、避免中輟。如果學生在某個教學主題需要花很多時間重複觀看，或是該主題的測驗常出錯，就代表那個主題太難或是講解的不夠清楚，老師可以重新設計教學。
當然，老師也能觀察哪些行為代表學生感到滿意、投入其中，甚至有想進一步學習的意願，適時在此時補充更多相關內容，會讓學生的學習成效更好。
事實上，以往的教學評鑑往往在課程結束後才進行，那時候才調整授課方法和內容就太晚了，學習資料分析有助於讓老師即早回應學生、調整課程。
對於學生而言，一方面能追蹤自己的學習足跡，了解自己在哪些主題較熟練、哪些則常有問題，因此調整學習時間分配；另一方面，這些修課紀錄可以促成系統提供更客製化的課程推薦，學生可以更快的過濾出自己想修的課程，節省時間也增加專業度。Udacity和coursera替學生進行職場配對也是利用學生的修課紀錄，讓學生找到真正適合自己的工作。
對於教育研究者而言，則可以驗證教育理論和真實學習者的行為紀錄是否一致，使理論不會只是空談；研究者也可以由此了解線上學習環境的哪些特性促成了不同的學習經驗。
最後，對高等教育機構而言，領導者將可以比較軟價值(名聲、教學品質)和硬價值(專利、研究)，並因此促成更全面的行政決策和組織資源配置，也能提供證據證明學校的教學能力，或據此調整教育方法、回應新時代挑戰，機構的所有人將更容易形成對於成功和挑戰的共識。
學習資料分析的缺陷
學習資料分析可以告訴我們這麼多事，也難怪會被看成新世代的石油。然而，這些資料該由誰擁有、由誰控制分析、為了什麼目的使用、資料分析的程度都還是待解決的問題。
目前的狀況是，最主要的資料來源者「學生」卻是最難取得這些資料的人，而且當學生在網路上留下越多資料，也就越難保證這些資料不會外流。雖然有學者主張，資料的產生者擁有資料，可以選擇不提供資料，但是這樣又會影響到學習資料分析結果的正確性。到底在研究品質和研究倫理該如何平衡，學習者、老師、平台管理者的權力界線為何，都是未來值得進一步關注的問題。
最後，由於這還是一個發展中的領域，許多技術都來自其他領域，未來應該要出現特別為教育開發的技術。而且這些學習資料分析工具應該不能讓使用者覺得太複雜，才會吸引更多教育者使用，提供工具開發者可貴的回饋，共同發揮學習資料分析的進一步潛力。
註 : 學習資料分析小工具
以前如果學校想要做學習資料分析，必須自己建立一個系統，然而現在有越來越多的應用工具出現，使學校可以節省成本和時間，使學習資料分析在全世界都較之前更快速的發展，也因此越來越受到高等教育機構和政府部門的重視。在此只提供一些學習資料分析工具，網路上還可以找到更多。
- Cytoscape: http://www.cytoscape.org/
- Netminer: http://www.netminer.com/sub01/sub02.php
- Touchgraph: http://www.touchgraph.com/navigator
- Piwik (開放資源): http://piwik.org/
- Statsmix: http://www.statsmix.com/
- Course Signals : http://www.itap.purdue.edu/learning/tools/signals
- Check My Activity : http://screencast.com/t/eIS8tviCgWw
- Learning and Career Outcomes : http://www.capellaresults.com/ourapproach.asp
- M-Reports Dashboard : http://www.bi.umich.edu/products/web_reporting.html
- Student Readiness Inventory : http://www.act.org/engage/
- Student Success Plan : http://www.sinclair.edu/organizations/ssp/
文 / 柯俊如
延伸閱讀 : MOOC與學習資料分析、深度了解大規模線上課程的「滯留」(RETENTION)與「意圖」(INTENTION)
參考資料
How can educational data mining and learning analytics enhance education (infographic)
http://elearninginfographics.com/how-can-educational-data-mining-and-learning-analytics-enhance-education-infographic/
Penetrating fog analytics learning and education
http://www.educause.edu/ero/article/penetrating-fog-analytics-learning-and-education
Grades 2.0 : How learning analytics are changing the teachers role
http://www.edudemic.com/grades-2-0-how-learning-analytics-are-changing-the-teachers-role/
Learning Analytics: Envisioning a Research Discipline and a Domain of Practice
http://dl.acm.org/citation.cfm?id=2330605
Learning Analytics: The Coming Third Wave
http://www.educause.edu/Resources/LearningAnalyticsTheComingThir/227287
Top ed-tech trends of 2012 : Education data and learning analytics
http://hackeducation.com/2012/12/09/top-ed-tech-trends-of-2012-education-data-and-learning-analytics/
Top ed-tech trends of 2013 : Data privacy
http://hackeducation.com/2013/12/11/top-ed-tech-trends-2013-data-privacy/
Learning and Knowledge Analytics – Analyzing what can be connected (研究社群)
http://www.learninganalytics.net/
更多學習資料分析的討論
http://www.scoop.it/t/learning-analytics-in-higher-education?page=1
留言
張貼留言