【正文】 行分析，以提高數(shù)據(jù)的正確性。但是如果無限增加扔骰子的次數(shù)，每個數(shù)字出現(xiàn)的概率都將越來越接近六分之一。因此，可以不拘泥于個別數(shù)據(jù)的精確度，而迅速地進(jìn)階到數(shù)據(jù)分析的步驟。但是大數(shù)據(jù)能夠通過觀察海量的數(shù)據(jù)，發(fā)現(xiàn)人所注意不到的相互關(guān)聯(lián)。其次，Olayer，也就是計算層，假設(shè)q為計算的一個階段，那么該階段內(nèi)的所有節(jié)點會同時進(jìn)行獨立計算，所有節(jié)點只需要處理自己對應(yīng)的數(shù)據(jù)，這些數(shù)據(jù)中包括最初輸入的數(shù)據(jù)，也包括計算中生成的中間數(shù)據(jù)，這樣實現(xiàn)了并發(fā)計算，得到的中間結(jié)果直接存儲在模型中。也就是說，一個階段的輸出數(shù)據(jù)會直接被作為下一個階段的輸入數(shù)據(jù)，如果不存在下一個階段或者是兩個相鄰階段之間不存在通信，則這些數(shù)據(jù)會被作為最終結(jié)果輸出并存儲。另外，在并行計算模型下，系統(tǒng)的擴(kuò)展性和容錯性明顯提升，在不改變?nèi)蝿?wù)效率的前提下，數(shù)據(jù)規(guī)模以及機(jī)器數(shù)量之間的關(guān)系就能夠描述出系統(tǒng)的擴(kuò)展性，而即使系統(tǒng)中的一些組件出現(xiàn)故障，系統(tǒng)整體運行也不會受到影響，體現(xiàn)出較好的容錯性。 （2.）　Dlayer的優(yōu)化 要想實現(xiàn)容錯性，要對系統(tǒng)中的數(shù)據(jù)進(jìn)行備份，因為操作人員出現(xiàn)失誤或者是系統(tǒng)自身存在問題，數(shù)據(jù)有可能大面積丟失，這時備份數(shù)據(jù)就會發(fā)揮作用。對于數(shù)據(jù)復(fù)本可以這樣布局：一是每個數(shù)據(jù)塊中的每個復(fù)本只能存儲在對應(yīng)節(jié)點上；二是如果集群中機(jī)架數(shù)量比較多，每個機(jī)架中可以存儲一個數(shù)據(jù)塊中的一個復(fù)本或者是兩個復(fù)本。 　Olayer的優(yōu)化 隨著信息技術(shù)的發(fā)展以及工業(yè)規(guī)模的擴(kuò)大，人們對大數(shù)據(jù)任務(wù)性能提出了更高的要求，為了實現(xiàn)提高性能的目標(biāo)，一般計算機(jī)程序會對系統(tǒng)的橫向擴(kuò)展提供支持。傳統(tǒng)并行計算模型主要依靠進(jìn)程間的通信，而優(yōu)化后的模型則主要依靠線程間的通信，由于后者明顯小于前者，因此在利用多核技術(shù)進(jìn)行并行計算時，能夠在不增大通信開銷的基礎(chǔ)上明顯提升計算性能。其次，如果分布式平臺上本身就有很多機(jī)器，那么迭代過程就需要將機(jī)器的運行或者計算作為基礎(chǔ)，就是說要想完成一次迭代，平臺上所有的機(jī)器都要逐一進(jìn)行計算，計算完成以后還需要對參數(shù)進(jìn)行同步。為了避免短板效應(yīng)，在對并行計算模型進(jìn)行優(yōu)化時，可以采用同步策略，對于計算速度較慢的機(jī)器進(jìn)行加速，提升迭代類任務(wù)的通信性能。從用戶的角度，數(shù)據(jù)可視化可以讓用戶快速抓住要點信息，讓關(guān)鍵的數(shù)據(jù)點從人類的眼睛快速通往心靈深處。 ①數(shù)據(jù)空間：是由n維屬性和m個元素組成的數(shù)據(jù)集所構(gòu)成的多維信息空間； ②數(shù)據(jù)開發(fā)：是指利用一定的算法和工具對數(shù)據(jù)進(jìn)行定量的推演和計算； ③數(shù)據(jù)分析：指對多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動作剖析數(shù)據(jù)，從而能多角度多側(cè)面觀察數(shù)據(jù)； ④數(shù)據(jù)可視化：是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。常用的可視化的方法： （1）、面積amp。這種方法會讓瀏覽者對數(shù)據(jù)及其之間的對比一目了然。例如：a: 天貓的店鋪動態(tài)評分 b: 聯(lián)邦預(yù)算圖c: 公司黃頁企業(yè)能力模型蜘蛛圖 （2）、顏色可視化 通過顏色的深淺來表達(dá)指標(biāo)值的強(qiáng)弱和大小，是數(shù)據(jù)可視化設(shè)計的常用方法，用戶一眼看上去便可整體的看出哪一部分指標(biāo)的數(shù)據(jù)值更突出。例如：a: iOS手機(jī)及平板分布b: 人人網(wǎng)用戶的網(wǎng)購調(diào)查 （4）、地域空間可視化 當(dāng)指標(biāo)數(shù)據(jù)要表達(dá)的主題跟地域有關(guān)聯(lián)時，我們一般會選擇用地圖為大背景。 （5）、概念可視化 通過將抽象的指標(biāo)數(shù)據(jù)轉(zhuǎn)換成我們熟悉的容易感知的數(shù)據(jù)時，用戶便更容易理解圖形要表達(dá)的意義。2）做數(shù)據(jù)可視化時，上述的五個方法經(jīng)常是混合用的，尤其是做一些復(fù)雜圖形和多維度數(shù)據(jù)的展示時。 可視化的工具： ?Google Chart API （至少三篇，其中一篇為外國論文），寫一個所閱讀論文的綜述，（用自己的語言，列出你所閱讀的文獻(xiàn)）？教育數(shù)據(jù)分析處理及其在教育領(lǐng)域的研究綜述隨著 MOOC 等在線學(xué)習(xí)平臺的飛速發(fā)展，針對在線教育數(shù)據(jù)的挖掘與分析正成為教育學(xué)與數(shù)據(jù)挖掘領(lǐng)域相結(jié)合的新研究熱點，為分析學(xué)習(xí)規(guī)律和構(gòu)建課程知識體系提供了新的思路。從大數(shù)據(jù)的特征入手，給出了大數(shù)據(jù)的處理流程，分析了數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化的要點，給出了教育大數(shù)據(jù)的應(yīng)用模式，從個性化課程分析、教育領(lǐng)域的數(shù)據(jù)挖掘、監(jiān)測學(xué)生的考試、為教育決策和教育改革提供參考、幫助家長和教師找到適合孩子的學(xué)習(xí)方法五方面論述了大數(shù)據(jù)的應(yīng)用實踐。預(yù)測（prediction） ，指通過對在線教育數(shù)據(jù)的挖掘得到關(guān)于某個變量的模型，從而對該變量未來的走勢進(jìn)行預(yù)測，比如數(shù)據(jù)趨勢預(yù)測等。特別是潛在知識評估，作為一種對學(xué)生知識掌握情況的評價手段，能夠更為客觀地對學(xué)生知識掌握情況及能力水平進(jìn)行評測，在 MOOC 平臺等在線教育乃至傳統(tǒng)教育領(lǐng)域都得到了廣泛應(yīng)用。關(guān)系挖掘（relationship discovery）用于發(fā)現(xiàn)數(shù)據(jù)中不同變量（如教育因素）之間的關(guān)系，包括關(guān)聯(lián)規(guī)則挖掘（association rule mining）、相關(guān)性分析（correlation mining）、時序模式挖掘（sequential pattern mining）及 因 果 數(shù) 據(jù) 挖 掘（causal data mining）等研究方向?？偨Y(jié)起來就是教育數(shù)據(jù)是分層的（hierarchical）。教育中的數(shù)據(jù)挖掘是邁向大數(shù)據(jù)分析的一項主要工作。教育中最近的趨勢是允許研究者積累大量尚未結(jié)構(gòu)化的數(shù)據(jù)（unstructured data）。教育大數(shù)據(jù)的處理傳統(tǒng)的數(shù)據(jù)服務(wù) (Data Services) 指的是數(shù)據(jù)操作密集型Web 服務(wù)，它們對用戶提供接入數(shù)據(jù)資源的接口，對內(nèi)則將數(shù)據(jù)源及操作進(jìn)行封裝，并對來自用戶的搜索和分析請求進(jìn)行處理。數(shù)據(jù)服務(wù)通過提供一個抽象層，為用戶隔離了異構(gòu)數(shù)據(jù)源的復(fù)雜性，使其能夠以統(tǒng)一的方式訪問或更新數(shù)據(jù)。大數(shù)據(jù)系統(tǒng)實際上就是數(shù)據(jù)的生命周期，即數(shù)據(jù)采集、存儲、查找、分析和可視化的過程，大數(shù)據(jù)系統(tǒng)流程圖，如圖 1 所示，其中 Hadoop 是一種開源實現(xiàn)平臺，其結(jié)構(gòu)如圖 2 所示。數(shù)據(jù)分析，數(shù)據(jù)分析在方法論上需要解決的課題首先就在于 ：如何透過多層次、多維度的數(shù)據(jù)集實現(xiàn)對于某一個人、某一件事或某一種社會狀態(tài)的現(xiàn)實態(tài)勢的聚焦，即真相再現(xiàn)；其中的難點就在于，我們需要洞察哪些維度是描述一個人、一件事以及一種社會狀態(tài)存在狀態(tài)的最為關(guān)鍵性的維度，并且這些維度之間的關(guān)聯(lián)方式是怎樣的等。其中的難點就在于，我們對于離散的、貌似各不相關(guān)的數(shù)據(jù)如何進(jìn)行屬性標(biāo)簽化的分類。數(shù)據(jù)服務(wù)，目前，對外提供大數(shù)據(jù)服務(wù)的既有政府、企業(yè)，也有科研機(jī)構(gòu)，其提供的數(shù)據(jù)服務(wù)集中在數(shù)據(jù)查詢 / 驗證服務(wù)，面向企業(yè)的數(shù)據(jù)分析服務(wù)和數(shù)據(jù)集市?？梢暬梢灾庇^地展示數(shù)據(jù)。這樣，大數(shù)據(jù)的可視化請求的處理流程可概述為，先執(zhí)行大數(shù)據(jù)檢索服務(wù)或者大數(shù)據(jù)分析服務(wù)，再將其結(jié)果數(shù)據(jù)輸入到可視化型數(shù)據(jù)服務(wù)中，最后輸出可視化腳本或包含可視化腳本的網(wǎng)頁腳本。大數(shù)據(jù)教育領(lǐng)域應(yīng)用實踐個性化課程分析，進(jìn)行數(shù)據(jù)分析和處理、預(yù)測學(xué)生的學(xué)業(yè)表現(xiàn)，并向其推薦他們可能取得優(yōu)秀學(xué)業(yè)表現(xiàn)的課程。結(jié)束語：作為新興的交叉研究領(lǐng)域，計算教育學(xué)和教育數(shù)據(jù)挖掘目前正處于蓬勃發(fā)展的階段。大規(guī)模在線教育數(shù)據(jù)的分析處理迫切需要研究者提出新的學(xué)習(xí)模型、新的分析方法、新的工具平臺以及新的教育學(xué)理論進(jìn)行支持。但總的來說，教育分析學(xué)和教育數(shù)據(jù)挖掘仍然是較新的研究領(lǐng)域，相對于其它數(shù)據(jù)挖掘的交叉領(lǐng)域（如生物信息學(xué)），面向在線教育數(shù)據(jù)的分析研究剛剛起步，存在很多問題與挑戰(zhàn)，等待計算機(jī)科學(xué)家和教育學(xué)家攜手應(yīng)對。數(shù)據(jù)不僅可以幫助改善教育教學(xué)，在重大教育決策制定和教育改革方面，大數(shù)據(jù)更有用武之地。如果有了充分的數(shù)據(jù)，便可以發(fā)掘更多的教師特征和學(xué)生成績之間的關(guān)系，從而為挑選教師提供更好的參考。基于人臉識別的商業(yè)大數(shù)據(jù)分析互聯(lián)網(wǎng)的發(fā)展，信息技術(shù)的日漸成熟，海量的數(shù)據(jù)中蘊(yùn)藏著豐富的知識，一方面商家無法準(zhǔn)確判斷這些指數(shù)，另一方面客戶無法發(fā)現(xiàn)自己的真正愛好，大數(shù)據(jù)分析技術(shù)可以發(fā)現(xiàn)其中知識。技術(shù)分析本系統(tǒng)主要是幫助商家做出更加合理的決策為客戶提供更有好多服務(wù)。在各大商場的數(shù)字標(biāo)牌廣告機(jī)安裝我們的圖片采集器并上傳到服務(wù)器，然后利用人臉分析技術(shù)分析出客戶的年齡、性別、表情、姿勢、關(guān)注時長、關(guān)注時間段、關(guān)注的廣告信息……有了這些基礎(chǔ)數(shù)據(jù)，現(xiàn)在可以在數(shù)據(jù)預(yù)處理階段計算出商場各時段的客流量、客戶性別年齡性格分布情況、客戶位置分布、天氣信息……數(shù)據(jù)處理階段我們利用統(tǒng)計學(xué)習(xí)，機(jī)器學(xué)習(xí)算法對客戶的各種特征數(shù)據(jù)和廣告的特征數(shù)據(jù)建立各種關(guān)系模型，利用上面得出的數(shù)據(jù)學(xué)習(xí)出模型；對客戶分類，對特定的類型客戶學(xué)習(xí)出模型；基于上面學(xué)習(xí)出的模型在數(shù)字標(biāo)牌廣告機(jī)中投放廣告；最后評估模型的好壞，反復(fù)學(xué)習(xí)，反復(fù)訓(xùn)練出更好的模型。人臉分析模塊采用深度學(xué)習(xí)框架CNTK做人臉檢測、人臉對齊，使用opencv圖像處理。同時為了提高計算能力，我們將整個系統(tǒng)移植到hadoop平臺并采用spark作為計算框架。同樣也折射出相當(dāng)多的問題，系統(tǒng)運行速度方面、系統(tǒng)安全方面、信息采集、算法優(yōu)劣、等等。詳細(xì)設(shè)計圖