【正文】 （domain structurediscovery）等。關系挖掘（relationship discovery）用于發(fā)現(xiàn)數(shù)據(jù)中不同變量（如教育因素）之間的關系，包括關聯(lián)規(guī)則挖掘（association rule mining）、相關性分析（correlation mining）、時序模式挖掘（sequential pattern mining）及 因 果 數(shù) 據(jù) 挖 掘（causal data mining）等研究方向。教育數(shù)據(jù)與其他領域中的數(shù)據(jù)比較起來，有一些獨特的特征?？偨Y起來就是教育數(shù)據(jù)是分層的（hierarchical）。有鍵擊層（keystroke level）、回答層（answer level）、學期層（session level）、學生層（student level）、教室層（classroom level）、教師層（teacher level）和學校層（school level），數(shù)據(jù)就隱含在這些不同的層之中。教育中的數(shù)據(jù)挖掘是邁向大數(shù)據(jù)分析的一項主要工作?；有詫W習的新方法已經(jīng)通過智力輔導系統(tǒng)、刺激與激勵機制、教育性的游戲產(chǎn)生了越來越多的尚未結構化的數(shù)據(jù)。教育中最近的趨勢是允許研究者積累大量尚未結構化的數(shù)據(jù)（unstructured data）。這就使得更豐富的數(shù)據(jù)能給研究者創(chuàng)造出比過去更多的探究學生學習環(huán)境的新機會。教育大數(shù)據(jù)的處理傳統(tǒng)的數(shù)據(jù)服務 (Data Services) 指的是數(shù)據(jù)操作密集型Web 服務，它們對用戶提供接入數(shù)據(jù)資源的接口，對內(nèi)則將數(shù)據(jù)源及操作進行封裝，并對來自用戶的搜索和分析請求進行處理。對于企業(yè)來說，數(shù)據(jù)通常被存儲在多個應用系統(tǒng)當中，如果想要調(diào)用數(shù)據(jù)，就需要分別連接應用的數(shù)據(jù)存儲系統(tǒng)。數(shù)據(jù)服務通過提供一個抽象層，為用戶隔離了異構數(shù)據(jù)源的復雜性，使其能夠以統(tǒng)一的方式訪問或更新數(shù)據(jù)。目前來說，數(shù)據(jù)服務的理想應用是數(shù)據(jù)所有者將數(shù)據(jù)開放，具有相應權限的用戶、客戶端和應用程序可通過數(shù)據(jù)服務對數(shù)據(jù)進行訪問和操作。大數(shù)據(jù)系統(tǒng)實際上就是數(shù)據(jù)的生命周期，即數(shù)據(jù)采集、存儲、查找、分析和可視化的過程，大數(shù)據(jù)系統(tǒng)流程圖，如圖 1 所示，其中 Hadoop 是一種開源實現(xiàn)平臺，其結構如圖 2 所示。教育大數(shù)據(jù)的處理過程包括：數(shù)據(jù)采集，數(shù)據(jù)采集是大數(shù)據(jù)處理流程中最基礎的一步，目前常用的數(shù)據(jù)采集手段有傳感器收取、射頻識別、數(shù)據(jù)檢索分類工具如百度和谷歌等搜索引擎，以及條形碼技術等。數(shù)據(jù)分析，數(shù)據(jù)分析在方法論上需要解決的課題首先就在于 ：如何透過多層次、多維度的數(shù)據(jù)集實現(xiàn)對于某一個人、某一件事或某一種社會狀態(tài)的現(xiàn)實態(tài)勢的聚焦，即真相再現(xiàn)；其中的難點就在于，我們需要洞察哪些維度是描述一個人、一件事以及一種社會狀態(tài)存在狀態(tài)的最為關鍵性的維度，并且這些維度之間的關聯(lián)方式是怎樣的等。其次，如何在時間序列上離散的、貌似各不相關的數(shù)據(jù)集合中，找到一種或多種與人的活動、事件的發(fā)展以及社會的運作有機聯(lián)系的連續(xù)性數(shù)據(jù)的分析邏輯。其中的難點就在于，我們對于離散的、貌似各不相關的數(shù)據(jù)如何進行屬性標簽化的分類。不同類屬的數(shù)據(jù)集的功能聚合模型 ( 用于特定的分析對象 ) 以及數(shù)據(jù)的標簽化技術，是大數(shù)據(jù)分析的技術關鍵。數(shù)據(jù)服務，目前，對外提供大數(shù)據(jù)服務的既有政府、企業(yè)，也有科研機構，其提供的數(shù)據(jù)服務集中在數(shù)據(jù)查詢 / 驗證服務，面向企業(yè)的數(shù)據(jù)分析服務和數(shù)據(jù)集市。數(shù)據(jù)可視化，不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^地展示數(shù)據(jù)。數(shù)據(jù)可視化的前提是給定要進行可視化的數(shù)據(jù)，這些數(shù)據(jù)有可能是用戶檢索的結果，有可能是分析的結果。這樣，大數(shù)據(jù)的可視化請求的處理流程可概述為，先執(zhí)行大數(shù)據(jù)檢索服務或者大數(shù)據(jù)分析服務，再將其結果數(shù)據(jù)輸入到可視化型數(shù)據(jù)服務中，最后輸出可視化腳本或包含可視化腳本的網(wǎng)頁腳本。教育大數(shù)據(jù)的應用模式基于數(shù)據(jù)挖掘、數(shù)據(jù)分析和在線決策面板三大要素的教育大數(shù)據(jù)應用流程具體可劃分為六個步驟，如圖 3 所示，一是學生使用在線系統(tǒng)進行學習 ；二是系統(tǒng)收集和記錄學生的在線學習行為，存入數(shù)據(jù)庫 ；三是進行數(shù)據(jù)分析和處理、預測學生的學業(yè)表現(xiàn) ；四是對預測和反饋結果進行可視化處理 ；五是提供適合學生個人的學習材料 ；六是教師、管理人員和開發(fā)人員適時給予學生指導和幫助。大數(shù)據(jù)教育領域應用實踐個性化課程分析，進行數(shù)據(jù)分析和處理、預測學生的學業(yè)表現(xiàn)，并向其推薦他們可能取得優(yōu)秀學業(yè)表現(xiàn)的課程。系統(tǒng)首先獲取某個學生以前( 高中或大學 ) 的學業(yè)表現(xiàn)，然后從已畢業(yè)學生的成績庫中找到與之成績相似的學生，分析以前的成績和待選課程表現(xiàn)之間的相關性、結合某專業(yè)的要求和學生能夠完成的課程進行分析、利用這些信息預測學生未來在課程中可能取得的成績，最后綜合考量預測的學生成績。結束語：作為新興的交叉研究領域，計算教育學和教育數(shù)據(jù)挖掘目前正處于蓬勃發(fā)展的階段。在線教育特別是 MOOC 的發(fā)展為這兩個領域提供了大規(guī)模數(shù)據(jù)，也使得教育學領域一些經(jīng)典分析方法及成果來面對 Anderson 之問： “More is Different ？”。大規(guī)模在線教育數(shù)據(jù)的分析處理迫切需要研究者提出新的學習模型、新的分析方法、新的工具平臺以及新的教育學理論進行支持。目前國外已經(jīng)出現(xiàn)了教育數(shù)據(jù)分析研究的專門會議、期刊乃至實驗室。但總的來說，教育分析學和教育數(shù)據(jù)挖掘仍然是較新的研究領域，相對于其它數(shù)據(jù)挖掘的交叉領域（如生物信息學），面向在線教育數(shù)據(jù)的分析研究剛剛起步，存在很多問題與挑戰(zhàn)，等待計算機科學家和教育學家攜手應對。國內(nèi)相關研究者也應該盡早投身到該領域的研究中，為促進中國的在線教育發(fā)展，實現(xiàn)利用信息化手段擴大優(yōu)質(zhì)教育資源覆蓋面以及大力促進教育公平的發(fā)展目標做出貢獻。數(shù)據(jù)不僅可以幫助改善教育教學，在重大教育決策制定和教育改革方面，大數(shù)據(jù)更有用武之地。美國利用數(shù)據(jù)來診斷處在輟學危險期的學生、探索教育開支與學生學習成績提升的關系、探索學生缺課與成績的關系。如果有了充分的數(shù)據(jù)，便可以發(fā)掘更多的教師特征和學生成績之間的關系，從而為挑選教師提供更好的參考。文獻資料：[1][J].科技論壇, :101104.[2]唐晉韜，劉 越，寧 洪，王 [J].計算機教育，(21):3740.[3] Macfadyen L, Dawson S. Mining LMS data to develop an “early warning system” for educators: a proof of concept[J]. Computers and Education, 2010, 54(2): 588599.，并實際做一種數(shù)據(jù)的分析與可視化，說明分析的效果(含可視化的圖)?；谌四樧R別的商業(yè)大數(shù)據(jù)分析互聯(lián)網(wǎng)的發(fā)展，信息技術的日漸成熟，海量的數(shù)據(jù)中蘊藏著豐富的知識，一方面商家無法準確判斷這些指數(shù)，另一方面客戶無法發(fā)現(xiàn)自己的真正愛好，大數(shù)據(jù)分析技術可以發(fā)現(xiàn)其中知識。廣告行業(yè)，同樣存在可以挖掘的知識，如：什么樣的廣告在什么時段位置投放可以取得理想的效果，商品關注趨勢，客戶對商品的關注度分析，客戶對推薦廣告的滿意度，客戶喜歡的廣告模式……考慮到以上市場需求，利用現(xiàn)有技術開發(fā)出這樣一款產(chǎn)品不僅能夠提高商家對市場的了解程度，而且可以有效地做出相應決策，幫助商家為客戶提供更好的服務，同時可以幫助客戶發(fā)現(xiàn)自己真正感興趣的商品，幫助客戶法向一些閃人問津的“暗信息”。技術分析本系統(tǒng)主要是幫助商家做出更加合理的決策為客戶提供更有好多服務。我們借助于人臉識別技術，采集用戶對商品的反饋信息。在各大商場的數(shù)字標牌廣告機安裝我們的圖片采集器并上傳到服務器，然后利用人臉分析技術分析出客戶的年齡、性別、表情、姿勢、關注時長、關注時間段、關注的廣告信息……有了這些基礎數(shù)據(jù)，現(xiàn)在可以在數(shù)據(jù)預處理階段計算出商場各時段的客流量、客戶性別年齡性格分布情況、客戶位置分布、天氣信息……數(shù)據(jù)處理階段我們利用統(tǒng)計學習，機器學習算法對客戶的各種特征數(shù)據(jù)和廣告的特征數(shù)據(jù)建立各種關系模型，利用上面得出的數(shù)據(jù)學習出模型；對客戶分類，對特定的類型客戶學習出模型；基于上面學習出的模型在數(shù)字標牌廣告機中投放廣告；最后評估模型的好壞，反復學習，反復訓練出更好的模型。技術實現(xiàn)本系統(tǒng)主要涉及兩大技術難點：人臉分析、數(shù)據(jù)處理。人臉分析模塊采用深度學習框架CNTK做人臉檢測、人臉對齊，使用opencv圖像處理。 數(shù)據(jù)分析模塊采用spark框架中的機器學習子框架做模型訓練、 分類、 關聯(lián)分析、 頻繁模式挖掘。同時為了提高計算能力，我們將整個系統(tǒng)移植到hadoop平臺并采用spark作為計算框架?？偨Y經(jīng)過這么長時間的努力，我們學習到了許多東西， 有工程實踐方面的，也有學習方法上面的，還有團隊合作方面的……這些寶貴的東西才是值得我們學習銘記。同樣也折射出相當多的問題，系統(tǒng)運行速度方面、系統(tǒng)安全方面、信息采集、算法優(yōu)劣、等等。這些小方面的問題累積起來最終都會對我們系統(tǒng)的整體性能造成極大的影響，因此今后在開發(fā)的過程中在考慮將現(xiàn)有技術使用到系統(tǒng)中的時候不能總是追求技術的新，要從整體出發(fā)，綜合考慮，在做出詳細的計劃，最后一步一步的實現(xiàn)。詳細設計圖