【文章內(nèi)容簡介】 別是都可以被看成是數(shù)據(jù)庫理論和機器學習的交叉科學。兩個術語在定義上有一定的重合度，內(nèi)涵也大致相同，都是從數(shù)據(jù)中挖掘或發(fā)現(xiàn)隱藏的知識。 它們的研究對象、方法和結果的表現(xiàn)形式等方面基本上都是相同的。因此，有些人認為，數(shù)據(jù)挖掘與知識發(fā)現(xiàn)只是叫法不一樣，其含義是相同的。而且，在現(xiàn)今的文獻中，有許多場合，如技術綜述等，這兩個術語仍然不加區(qū)分地使用著。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)有一定的區(qū)別。關于數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的區(qū)別有不同的表述，典型的表述有兩種: ①知識發(fā)現(xiàn)是數(shù)據(jù)挖掘的特例，即把用于挖掘的數(shù)據(jù)集限制在數(shù)據(jù)庫這種數(shù)據(jù)組織形式上，因此數(shù)據(jù)挖掘可以看作是知識發(fā)現(xiàn)在挖掘對象的延伸和擴展。②數(shù)據(jù)挖掘是知識發(fā)現(xiàn)過程中的一個特定步驟。知識發(fā)現(xiàn)是從數(shù)據(jù)庫中發(fā)現(xiàn)知識的全部過程． 而數(shù)據(jù)挖掘則是此全部過程的一個特定的關鍵步驟。從知識發(fā)現(xiàn)的含義可以得知，知識發(fā)現(xiàn)一般可包括以下步驟: ①數(shù)據(jù)清理，消除噪聲和不一致數(shù)據(jù)。 ②數(shù)據(jù)集成，多種數(shù)據(jù)源可以組合在一起。 ③數(shù)據(jù)選擇，從數(shù)據(jù)庫中檢索與分析任務相關的數(shù)據(jù)。 ④數(shù)據(jù)變換，通過匯總、聚集操作等方式將數(shù)據(jù)統(tǒng)一變換成適合挖掘的形式。 ⑤數(shù)據(jù)挖掘，使用智能方法提取數(shù)據(jù)模式。 ⑥模式評估，根據(jù)某種興趣度量，識別表示知識的真正有趣的模式。 ⑦知識表示，使用可視化和知識表示技術，向用戶提供挖掘的知識。從這 7 個步驟，可以看出，數(shù)據(jù)挖掘只是知識發(fā)現(xiàn)整個過程中的一個特定步驟，它用專門算法從數(shù)據(jù)中提取數(shù)據(jù)模式，是知識發(fā)現(xiàn)過程中重要的環(huán)節(jié)。而知識發(fā)現(xiàn)是一個高級的復雜的處理過程，它還包括前期處理和后期評估，即是一個應用了數(shù)據(jù)挖倔算法和評價解釋模式的循環(huán)反復過程，它們之間相互影響、反復調整。 數(shù)據(jù)分析：數(shù)據(jù)分析只是在已定的假設，先驗約束上處理原有計算方法，統(tǒng)計方法，將數(shù)據(jù)分析轉化為信息，而這些信息需要進一步的獲得認知，轉化為有效的預測和決策，這時就需要數(shù)據(jù)挖掘，數(shù)據(jù)挖掘與數(shù)據(jù)分析兩者緊密相連，具有循環(huán)遞歸的關系，數(shù)據(jù)分析結果需要進一步進行數(shù)據(jù)挖掘才能指導決策，而數(shù)據(jù)挖掘進行價值評估的過程也需要調整先驗約束而再次進行數(shù)據(jù)分析。而兩者的具體區(qū)別在于：（其實數(shù)據(jù)分析的范圍廣，包含了數(shù)據(jù)挖掘，在這里區(qū)別主要是指統(tǒng)計分析） 數(shù)據(jù)量上：數(shù)據(jù)分析的數(shù)據(jù)量可能并不大，而數(shù)據(jù)挖掘的數(shù)據(jù)量極大。 約束上：數(shù)據(jù)分析是從一個假設出發(fā)，需要自行建立方程或模型來與假設吻合，而數(shù)據(jù)挖掘不需要假設，可以自動建立方程。 對象上：數(shù)據(jù)分析往往是針對數(shù)字化的數(shù)據(jù)，而數(shù)據(jù)挖掘能夠采用不同類型的數(shù)據(jù)，比如聲音，文本等。 結果上：數(shù)據(jù)分析對結果進行解釋，呈現(xiàn)出有效信息，數(shù)據(jù)挖掘的結果不容易解釋，對信息進行價值評估，著眼于預測未來，并提出決策性建議。數(shù)據(jù)分析是把數(shù)據(jù)變成信息的工具，數(shù)據(jù)挖掘是把信息變成認知的工具，如果我們想要從數(shù)據(jù)中提取一定的規(guī)律（即認知）往往需要數(shù)據(jù)分析和數(shù)據(jù)挖掘結合使用。5. 第(4)題中所列出的概念有哪些數(shù)學模型？(寫出這些模型的形式化描述)，那些是新近的模型，以教育(教學、學習)為例，可以分析和挖掘的數(shù)據(jù)模型？ 數(shù)據(jù)分析的模型：(1.)PEST分析模型 (2.)5W2H分析模型(3.)邏輯樹分析模型(4.)4P營銷理論(5).用戶行為模型 數(shù)據(jù)分析模型的形式化描述：(1.)PEST分析模型主要針對宏觀市場環(huán)境進行分析，從政治、經(jīng)濟、社會以及技術四個維度對產(chǎn)品或服務是否適合進入市場進行數(shù)據(jù)化的分析，最終得到結論，輔助判斷產(chǎn)品或服務是否滿足大環(huán)境。(2.)5W2H分析模型的應用場景較廣，可用于對用戶行為進行分析以及產(chǎn)品業(yè)務分析。(3.)邏輯樹分析模型主要針對已知問題進行分析，通過對已知問題的細化分析，通過分析結論找到問題的最優(yōu)解決方案。(4.)4P營銷理論模型主要用于公司或其中某一個產(chǎn)品線的整體運營情況分析，通過分析結論，輔助決策近期運營計劃與方案。(5.)用戶行為分析模型應用場景比較單一，完全針對用戶的行為進行研究分析。數(shù)據(jù)統(tǒng)計的數(shù)學模型： 多變量統(tǒng)計分析主要用于數(shù)據(jù)分類和綜合評價。綜合評價是區(qū)劃和規(guī)劃的基礎。從人類認識的角度來看有精確的和模糊的兩種類型，因為絕大多數(shù)地理現(xiàn)象難以用精確的定量關系劃分和表示，因此模糊的模型更為實用，結果也往往更接近實際，模糊評價一般經(jīng)過四個過程：(1)評價因子的選擇與簡化。(2)多因子重要性指標(權重)的確定。(3)因子內(nèi)各類別對評價目標的隸屬度確定。(4)選用某種方法進行多因子綜合。 地理問題往往涉及大量相互關聯(lián)的自然和社會要素，眾多的要素常常給模型的構造帶來很大困難，為使用戶易于理解和解決現(xiàn)有存儲容量不足的問題，有必要減少某些數(shù)據(jù)而保留最必要的信息。 主成分分析是通過數(shù)理統(tǒng)計分析，求得各要素間線性關系的實質上有意義的表達式，將眾多要素的信息壓縮表達為若干具有代表性的合成變量，這就克服了變量選擇時的冗余和相關，然后選擇信息最豐富的少數(shù)因子進行各種聚類分析，構造應用模型。 (AHP) Hierarahy Analysis ,是系統(tǒng)分析的數(shù)學工具之一，它把人的思維過程層次化、數(shù)量化，并用數(shù)學方法為分析、決策、預報或控制提供定量的依據(jù)。 AHP方法把相互關聯(lián)的要素按隸屬關系分為若干層次，請有經(jīng)驗的專家對各層次各因素的相對重要性給出定量指標，利用數(shù)學方法綜合專家意見給出各層次各要素的相對重要性權值，作為綜合分析的基礎。例如要比較n個因素y={yl，y2，…，yn }對目標Z的影響，確定它們在z中的比重，每次取兩個因素yi和yJ，用aij表示yi與yJ對Z的影響之比，全部比較結果可用矩陣A=(aij)n*n表示，A叫成對比矩陣，它應滿足：aij0,aij=1/aij (i,j=1,2,...n)使上式成立的矩陣稱互反陣，必有aij=l。 聚類分析的主要依據(jù)是把相似的樣本歸為一類，而把差異大的樣本區(qū)分開來。在由m個變量組成為m維的空間中可以用多種方法定義樣本之間的相似性和差異性統(tǒng)計量。 判別分析是根據(jù)表明事物特點的變量值和它們所屬的類求出判別函數(shù)，根據(jù)判別函數(shù)對未知所屬類別的事物進行分類的一種分析方法，與聚類分析不同，它需要已知一系列反映事物特性的數(shù)值變量值及其變量值。 判別分析就是在已知研究對象分為若干類型(組別)并已經(jīng)取得各種類型的一批已知樣品的觀測數(shù)據(jù)基礎上，根據(jù)某些準則，建立起盡可能把屬于不同類型的數(shù)據(jù)區(qū)分開來的判別函數(shù)，然后用它們來判別未知類型的樣品應該屬于哪一類。根據(jù)判別的組數(shù)，判別分析可以分為兩組判別分析和多組判別分析。根據(jù)判別函數(shù)的形式，判別分析可以分為線性判別和非線性判別。根據(jù)判別時處理變量的方法不同，判別分析可以分為逐步判別、序貫判別等。根據(jù)判別標準的不同，判別分析有距離判別、Fisher判別、Bayes判別等。 數(shù)據(jù)挖掘的數(shù)學模型： 可分為四大類（1.）分類與預測，決策樹、神經(jīng)網(wǎng)絡、回歸、時間序列（2.）聚類，Kmeans，快速聚類，系統(tǒng)聚類（3.）關聯(lián)，apriori算法等（4.）異常值處理。 以教育(教學、學習)為例，可以分析和挖掘的數(shù)據(jù)模型？ 基于教育數(shù)據(jù)挖掘的網(wǎng)絡學習過程監(jiān)管研究為例進行論述（1.）教育數(shù)據(jù)挖掘及其應用。 教育數(shù)據(jù)挖掘是數(shù)據(jù)挖掘技術在教育領域的具體應用。根據(jù)國際教育數(shù)據(jù)挖掘工作組網(wǎng)站的定義，教育數(shù)據(jù)挖掘是指運用不斷發(fā)展的方法和技術，探索特定的教育環(huán)境中的數(shù)據(jù)類型，挖掘出有價值的信息，以幫助教師更好地理解學生，并改善他們所學習的環(huán)境，為教育者、學習者、管理者等教育工作者提供服務。教育數(shù)據(jù)挖掘的主要目標包括：構建學習者模型，預測學習發(fā)展趨勢；分析已有教學內(nèi)容、教學模型，提出改進優(yōu)化建議；針對各種教育軟件系統(tǒng)，評估其有效性；構建教育領域模型，促進有效學習的產(chǎn)生。教育數(shù)據(jù)挖掘的數(shù)據(jù)來源可以來自于網(wǎng)絡學習系統(tǒng)或者教育辦公軟件等，也可以來自于傳統(tǒng)學習課堂或傳統(tǒng)測試結果等。數(shù)據(jù)屬性既可以是個人信息（人口學信息），也可以是學習過程信息。教育數(shù)據(jù)挖掘過程包括數(shù)據(jù)獲取與預處理、數(shù)據(jù)分析和結果解釋三個階段。教育數(shù)據(jù)挖掘的模型主要可分為描述性模型和預測性模型兩類?！枋鲂阅Ｐ陀糜谀Ｊ降拿枋?，為決策制定提供參考意見；而預測性模型主要用于基于數(shù)據(jù)的預測（如預測學生成績或課程通過情況等）。（2.）網(wǎng)絡學習過程監(jiān)管的教育數(shù)據(jù)挖掘模型根據(jù)網(wǎng)絡學習的特殊屬性及教育數(shù)據(jù)挖掘流程，本研究構建了如圖1所示的網(wǎng)絡學習過程監(jiān)管的教育數(shù)據(jù)挖掘模型。數(shù)據(jù)源主要來自網(wǎng)絡學習平臺數(shù)據(jù)庫，以及教務管理平臺數(shù)據(jù)庫中的學生課程考試成績、個人信息等數(shù)據(jù)。由于數(shù)據(jù)來源的多樣化，因此在完成數(shù)據(jù)采集之后，必須對數(shù)據(jù)進行預處理，包括去除冗余數(shù)據(jù)、處理缺失數(shù)據(jù)、數(shù)值轉換等。數(shù)據(jù)預處理完成后，進入教育數(shù)據(jù)挖掘的核心環(huán)節(jié)——選擇挖掘方法分析數(shù)據(jù)并得出結果。針對網(wǎng)絡學習平臺的學習過程監(jiān)管，使用統(tǒng)計分析與可視化方法了解學習者的網(wǎng)絡學習時間分布、偏好頁面等；使用關聯(lián)規(guī)則了解學習者的網(wǎng)絡學習屬性與學業(yè)成績之間的關聯(lián)；使用聚類分析對學習者分類，教師可以依據(jù)分類結果對各類學生進行不同形式的監(jiān)管，也可根據(jù)分類結果給予相應的網(wǎng)絡學習效果評價。最后，將教育數(shù)據(jù)挖掘的結果應用到網(wǎng)絡學習過程的監(jiān)管中，學生進行新一輪的網(wǎng)絡學習，產(chǎn)生新的網(wǎng)絡學習數(shù)據(jù)，對產(chǎn)生的新數(shù)據(jù)繼續(xù)進行分析。如此不斷迭代，對網(wǎng)絡學習過程進行調整和優(yōu)化，使其朝著研究性學習和自主性學習的目標實現(xiàn)可持續(xù)發(fā)展。6. 大數(shù)據(jù)的本質特征是什么？大數(shù)據(jù)是指按照一定的組織結構連接起來的數(shù)據(jù)，是非常簡單而且直接的事物，但是從現(xiàn)象上分析，大數(shù)據(jù)所呈現(xiàn)出來的狀態(tài)復雜多樣，、交織關聯(lián)的復雜系 統(tǒng)結構，數(shù)據(jù)是分布在節(jié)點上的構成物質，數(shù)據(jù)之間的關聯(lián)關系是由節(jié)點的位置決定的，而不是由數(shù)據(jù)本身來決定。也就是說，不同的數(shù)據(jù)位于同一個節(jié)點時，就可 以獲得相同的關聯(lián)關系。(1.)使用所有的數(shù)據(jù) 運用用戶行為觀察等大數(shù)據(jù)出現(xiàn)前的分析方法，通常是將調查對象范圍縮小至幾個人。這是因為，整理所有目標用戶的數(shù)據(jù)實在太費時間，所以采取了從總用戶群中，爭取不產(chǎn)生偏差地抽取一部分作為調查對象，