【正文】 同時為了提高計算能力，我們將整個系統(tǒng)移植到hadoop平臺并采用spark作為計算框架?；谌四樧R別的商業(yè)大數(shù)據(jù)分析互聯(lián)網(wǎng)的發(fā)展，信息技術(shù)的日漸成熟，海量的數(shù)據(jù)中蘊藏著豐富的知識，一方面商家無法準確判斷這些指數(shù)，另一方面客戶無法發(fā)現(xiàn)自己的真正愛好，大數(shù)據(jù)分析技術(shù)可以發(fā)現(xiàn)其中知識。大規(guī)模在線教育數(shù)據(jù)的分析處理迫切需要研究者提出新的學習模型、新的分析方法、新的工具平臺以及新的教育學理論進行支持。可視化可以直觀地展示數(shù)據(jù)。大數(shù)據(jù)系統(tǒng)實際上就是數(shù)據(jù)的生命周期，即數(shù)據(jù)采集、存儲、查找、分析和可視化的過程，大數(shù)據(jù)系統(tǒng)流程圖，如圖 1 所示，其中 Hadoop 是一種開源實現(xiàn)平臺，其結(jié)構(gòu)如圖 2 所示。教育中的數(shù)據(jù)挖掘是邁向大數(shù)據(jù)分析的一項主要工作。預測（prediction） ，指通過對在線教育數(shù)據(jù)的挖掘得到關(guān)于某個變量的模型，從而對該變量未來的走勢進行預測，比如數(shù)據(jù)趨勢預測等。 （5）、概念可視化 通過將抽象的指標數(shù)據(jù)轉(zhuǎn)換成我們熟悉的容易感知的數(shù)據(jù)時，用戶便更容易理解圖形要表達的意義。常用的可視化的方法： （1）、面積amp。其次，如果分布式平臺上本身就有很多機器，那么迭代過程就需要將機器的運行或者計算作為基礎(chǔ)，就是說要想完成一次迭代，平臺上所有的機器都要逐一進行計算，計算完成以后還需要對參數(shù)進行同步。 （2.）　Dlayer的優(yōu)化 要想實現(xiàn)容錯性，要對系統(tǒng)中的數(shù)據(jù)進行備份，因為操作人員出現(xiàn)失誤或者是系統(tǒng)自身存在問題，數(shù)據(jù)有可能大面積丟失，這時備份數(shù)據(jù)就會發(fā)揮作用。但是大數(shù)據(jù)能夠通過觀察海量的數(shù)據(jù)，發(fā)現(xiàn)人所注意不到的相互關(guān)聯(lián)。(1.)使用所有的數(shù)據(jù) 運用用戶行為觀察等大數(shù)據(jù)出現(xiàn)前的分析方法，通常是將調(diào)查對象范圍縮小至幾個人。數(shù)據(jù)源主要來自網(wǎng)絡(luò)學習平臺數(shù)據(jù)庫，以及教務(wù)管理平臺數(shù)據(jù)庫中的學生課程考試成績、個人信息等數(shù)據(jù)。根據(jù)國際教育數(shù)據(jù)挖掘工作組網(wǎng)站的定義，教育數(shù)據(jù)挖掘是指運用不斷發(fā)展的方法和技術(shù)，探索特定的教育環(huán)境中的數(shù)據(jù)類型，挖掘出有價值的信息，以幫助教師更好地理解學生，并改善他們所學習的環(huán)境，為教育者、學習者、管理者等教育工作者提供服務(wù)。 判別分析就是在已知研究對象分為若干類型(組別)并已經(jīng)取得各種類型的一批已知樣品的觀測數(shù)據(jù)基礎(chǔ)上，根據(jù)某些準則，建立起盡可能把屬于不同類型的數(shù)據(jù)區(qū)分開來的判別函數(shù)，然后用它們來判別未知類型的樣品應(yīng)該屬于哪一類。 地理問題往往涉及大量相互關(guān)聯(lián)的自然和社會要素，眾多的要素常常給模型的構(gòu)造帶來很大困難，為使用戶易于理解和解決現(xiàn)有存儲容量不足的問題，有必要減少某些數(shù)據(jù)而保留最必要的信息。數(shù)據(jù)統(tǒng)計的數(shù)學模型： 多變量統(tǒng)計分析主要用于數(shù)據(jù)分類和綜合評價。而知識發(fā)現(xiàn)是一個高級的復雜的處理過程，它還包括前期處理和后期評估，即是一個應(yīng)用了數(shù)據(jù)挖倔算法和評價解釋模式的循環(huán)反復過程，它們之間相互影響、反復調(diào)整。從知識發(fā)現(xiàn)的含義可以得知，知識發(fā)現(xiàn)一般可包括以下步驟: ①數(shù)據(jù)清理，消除噪聲和不一致數(shù)據(jù)。兩個術(shù)語在定義上有一定的重合度，內(nèi)涵也大致相同，都是從數(shù)據(jù)中挖掘或發(fā)現(xiàn)隱藏的知識。4. 數(shù)據(jù)統(tǒng)計，數(shù)據(jù)分析，數(shù)據(jù)挖掘，數(shù)據(jù)處理，知識發(fā)現(xiàn)，大數(shù)據(jù)處理等，這些概念之間的區(qū)別和聯(lián)系？ 數(shù)據(jù)統(tǒng)計：數(shù)據(jù)統(tǒng)計，是互聯(lián)網(wǎng)傳媒行業(yè)或其他操作流程的數(shù)據(jù)統(tǒng)計的統(tǒng)稱，用于歷史資料、科學實驗、檢驗、統(tǒng)計等領(lǐng)域。深入理解這些模式間的關(guān)系對于正確分析預測數(shù)據(jù)至關(guān)重要。描述性模式能確定許多不同客戶或產(chǎn)品之間的關(guān)系，來決定需要采取什么方法向前發(fā)展。 二、效度分析　效度是指測量工具能夠準確測量出所要測量特性的程度，除受隨機誤差影響外，還受系統(tǒng)誤差的影響。信度指標多以相關(guān)系數(shù)表示，具體評價方法大致可分為三類：穩(wěn)定系數(shù)（跨時間的一致性），等值系數(shù)（跨形式的一致性）和內(nèi)在一致性系數(shù)（跨項目的一致性）。所以我們必須對效度進行檢驗。　　包括樣本基本資料的描述，作各變量的次數(shù)分配及百分比分析，以了解樣本的分布情況。它實際上是FMA（故障模式分析）和FEA（故障影響分析）的組合。魚骨圖（Ishikawa）運用十分廣泛，回歸分析按照涉及的自變量的多少，可分為一元回歸分析和多元回歸分析；按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。對應(yīng)分析（Correspondence Analysis）因子分析就是從大量的數(shù)據(jù)中尋找內(nèi)在的聯(lián)系，減少決策的困難。常用數(shù)據(jù)分析方法:聚類分析（Cluster Analysis）常用的圖表包括餅圖、折線圖、柱形圖/條形圖、散點圖、雷達圖等、金字塔圖、矩陣圖、漏斗圖、帕雷托圖等。 數(shù)據(jù)處理數(shù)據(jù)處理是指對收集到的數(shù)據(jù)進行加工、整理，以便開展數(shù)據(jù)分析，它是數(shù)據(jù)分析前必不可少的階段。實用文檔數(shù)據(jù)分析與可視化1. 什么是數(shù)據(jù)分析？數(shù)據(jù)分析是基于商業(yè)目的，有目的的進行收集、整理、加工和分析數(shù)據(jù)，提煉有價信息的一個過程。這個過程是數(shù)據(jù)分析整個過程中最占據(jù)時間的，也在一定程度上取決于數(shù)據(jù)倉庫的搭建和數(shù)據(jù)質(zhì)量的保證。 撰寫報告 最后階段，就是撰寫數(shù)據(jù)分析報告，這是對整個數(shù)據(jù)分析成果的一個呈現(xiàn)。 聚類分析指將物理或抽象對象的集合分組成為由類似的對象組成的多個類的分析過程。 對應(yīng)分析(Correspondence analysis)也稱關(guān)聯(lián)分析、RQ型因子分析，通過分析由定性變量構(gòu)成的交互匯總表來揭示變量間的聯(lián)系。方差分析(ANOVA/Analysis of Variance)排列圖是分析和尋找影響質(zhì)量主原因素的一種工具，其形式用雙直角坐標圖，左邊縱坐標表示頻數(shù)（如件數(shù)金額等），右邊縱坐標表示頻率（如百分比表示）。直方圖(Histogram)又稱柱狀圖、質(zhì)量分布圖。它對各種可能的風險進行評價、分析，以便在現(xiàn)有技術(shù)的基礎(chǔ)上消除這些風險或?qū)⑦@些風險減小到可接受的水平。minitab：MINITAB功能菜單包括：假設(shè)檢驗（參數(shù)檢驗和非參數(shù)檢驗），回歸分析（一元回歸和多元回歸、線性回歸和非線性回歸），方差分析（單因子、多因子、一般線性模型等），時間序列分析，圖表（散點圖、點圖、矩陣圖、直方圖、莖葉圖、箱線圖、概率圖、概率分布圖、邊際圖、矩陣圖、單值圖、餅圖、區(qū)間圖、Pareto、Fishbone、運行圖等）、蒙特卡羅模擬和仿真、SPC(Statistical Process Control 統(tǒng)計過程控制)、可靠性分析（分布擬合、檢驗計劃、加速壽命測試等）、MSA（交叉、嵌套、量具運行圖、類型I量具研究等）等。此外，以平均數(shù)和標準差來描述市場導向、競爭優(yōu)勢、組織績效等各個構(gòu)面，以了解樣本企業(yè)的管理人員對這些相關(guān)變量的感知，并利用t檢驗及相關(guān)分析對背景變量所造成的影響做檢驗。效度是指工具是否能測出在設(shè)計時想測出的結(jié)果。信度分析的方法主要有以下四種：　　大部分的信度指標都以相關(guān)系數(shù)來表示，即用同一被試樣本所得的兩組資料的相關(guān)作為測量一致性的指標，稱作信度系數(shù)，主要分為四大類： 是指用同樣的測量工具，對同一組被測者隔一定時間重復測量，考察兩次測量結(jié)果的相關(guān)程度，可以直接采用相關(guān)分析，得到的相關(guān)系數(shù)即為重測信度系數(shù)。效度越高表示測量真實性越高，由于真實值往往未知，所以我們對于效度的評價也不可能有絕對肯定的答案，但是可以用指標來評價，對于一個標準的測量來說，效度比信度更為重要。幾乎所有的報表，如：銷售、市場、操作以及財務(wù)都適用這樣的模式進行事后分析，來提出這些問題：發(fā)什么什么？多少？頻率如何？什么地方？何時？問題關(guān)鍵是什么？應(yīng)該采取怎樣的行動？ （2）預測模式：分析過去可以知道客戶可能會有的操作，這樣可以預測單一用戶的操作。就像所有的項目，剛開始我們都要明確他的商業(yè)目標目的一樣。以便精準快速的查找與分類。 它們的研究對象、方法和結(jié)果的表現(xiàn)形式等方面基本上都是相同的。 ②數(shù)據(jù)集成，多種數(shù)據(jù)源可以組合在一起。 數(shù)據(jù)分析：數(shù)據(jù)分析只是在已定的假設(shè)，先驗約束上處理原有計算方法，統(tǒng)計方法，將數(shù)據(jù)分析轉(zhuǎn)化為信息，而這些信息需要進一步的獲得認知，轉(zhuǎn)化為有效的預測和決策，這時就需要數(shù)據(jù)挖掘，數(shù)據(jù)挖掘與數(shù)據(jù)分析兩者緊密相連，具有循環(huán)遞歸的關(guān)系，數(shù)據(jù)分析結(jié)果需要進一步進行數(shù)據(jù)挖掘才能指導決策，而數(shù)據(jù)挖掘進行價值評估的過程也需要調(diào)整先驗約束而再次進行數(shù)據(jù)分析。 結(jié)果上：數(shù)據(jù)分析對結(jié)果進行解釋，呈現(xiàn)出有效信息，數(shù)據(jù)挖掘的結(jié)果不容易解釋，對信息進行價值評估，著眼于預測未來，并提出決策性建議。綜合評價是區(qū)劃和規(guī)劃的基礎(chǔ)。 主成分分析是通過數(shù)理統(tǒng)計分析，求得各要素間線性關(guān)系的實質(zhì)上有意義的表達式，將眾多要素的信息壓縮表達為若干具有代表性的合成變量，這就克服了變量選擇時的冗余和相關(guān)，然后選擇信息最豐富的少數(shù)因子進行各種聚類分析，構(gòu)造應(yīng)用模型。根據(jù)判別的組數(shù)，判別分析可以分為兩組判別分析和多組判別分析。教育數(shù)據(jù)挖掘的主要目標包括：構(gòu)建學習者模型，預測學習發(fā)展趨勢；分析已有教學內(nèi)容、教學模型，提出改進優(yōu)化建議；針對各種教育軟件系統(tǒng)，評估其有效性；構(gòu)建教育領(lǐng)域模型，促進有效學習的產(chǎn)生。由于數(shù)據(jù)來源的多樣化，因此在完成數(shù)據(jù)采集之后，必須對數(shù)據(jù)進行預處理，包括去除冗余數(shù)據(jù)、處理缺失數(shù)據(jù)、數(shù)值轉(zhuǎn)換等。這是因為，整理所有目標用戶的數(shù)據(jù)實在太費時間，所以采取了從總用戶群中，爭取不產(chǎn)生偏差地抽取一部分作為調(diào)查對象，并僅僅根據(jù)那幾個人的數(shù)據(jù)進行分析。7. 怎樣使用并行計算的方法（模型）實現(xiàn)并行數(shù)據(jù)的處理與分析？面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化：（1. ）pDOT模型分析 pDOT模型在設(shè)計時將BPS模型作為基礎(chǔ)，模型的基本組成是一系列iteration，該模型主要由三個層次組成：首先，Dlayer，也就是數(shù)據(jù)層，整個系統(tǒng)的結(jié)構(gòu)呈現(xiàn)出分布式，各個數(shù)據(jù)節(jié)點上存儲數(shù)據(jù)集。一般情況下，系統(tǒng)中比較重要的數(shù)據(jù)會至少制作三個備份，這些備份數(shù)據(jù)會被存儲在不同場所，一旦系統(tǒng)數(shù)據(jù)層出現(xiàn)問題就會利用這些數(shù)據(jù)進行回存。這種迭代模式容易受到短板效應(yīng)的制約，算法通信開銷并不取決于計算速度最快的機器，而是取