【文章內(nèi)容簡介】 都可以被看成是數(shù)據(jù)庫理論和機(jī)器學(xué)習(xí)的交叉科學(xué)。兩個術(shù)語在定義上有一定的重合度，內(nèi)涵也大致相同，都是從數(shù)據(jù)中挖掘或發(fā)現(xiàn)隱藏的知識。 它們的研究對象、方法和結(jié)果的表現(xiàn)形式等方面基本上都是相同的。因此，有些人認(rèn)為，數(shù)據(jù)挖掘與知識發(fā)現(xiàn)只是叫法不一樣，其含義是相同的。而且，在現(xiàn)今的文獻(xiàn)中，有許多場合，如技術(shù)綜述等，這兩個術(shù)語仍然不加區(qū)分地使用著。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)有一定的區(qū)別。關(guān)于數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的區(qū)別有不同的表述，典型的表述有兩種: ①知識發(fā)現(xiàn)是數(shù)據(jù)挖掘的特例，即把用于挖掘的數(shù)據(jù)集限制在數(shù)據(jù)庫這種數(shù)據(jù)組織形式上，因此數(shù)據(jù)挖掘可以看作是知識發(fā)現(xiàn)在挖掘?qū)ο蟮难由旌蛿U(kuò)展。②數(shù)據(jù)挖掘是知識發(fā)現(xiàn)過程中的一個特定步驟。知識發(fā)現(xiàn)是從數(shù)據(jù)庫中發(fā)現(xiàn)知識的全部過程． 而數(shù)據(jù)挖掘則是此全部過程的一個特定的關(guān)鍵步驟。從知識發(fā)現(xiàn)的含義可以得知，知識發(fā)現(xiàn)一般可包括以下步驟: ①數(shù)據(jù)清理，消除噪聲和不一致數(shù)據(jù)。 ②數(shù)據(jù)集成，多種數(shù)據(jù)源可以組合在一起。 ③數(shù)據(jù)選擇，從數(shù)據(jù)庫中檢索與分析任務(wù)相關(guān)的數(shù)據(jù)。 ④數(shù)據(jù)變換，通過匯總、聚集操作等方式將數(shù)據(jù)統(tǒng)一變換成適合挖掘的形式。 ⑤數(shù)據(jù)挖掘，使用智能方法提取數(shù)據(jù)模式。 ⑥模式評估，根據(jù)某種興趣度量，識別表示知識的真正有趣的模式。 ⑦知識表示，使用可視化和知識表示技術(shù)，向用戶提供挖掘的知識。從這 7 個步驟，可以看出，數(shù)據(jù)挖掘只是知識發(fā)現(xiàn)整個過程中的一個特定步驟，它用專門算法從數(shù)據(jù)中提取數(shù)據(jù)模式，是知識發(fā)現(xiàn)過程中重要的環(huán)節(jié)。而知識發(fā)現(xiàn)是一個高級的復(fù)雜的處理過程，它還包括前期處理和后期評估，即是一個應(yīng)用了數(shù)據(jù)挖倔算法和評價解釋模式的循環(huán)反復(fù)過程，它們之間相互影響、反復(fù)調(diào)整。 數(shù)據(jù)分析：數(shù)據(jù)分析只是在已定的假設(shè)，先驗(yàn)約束上處理原有計算方法，統(tǒng)計方法，將數(shù)據(jù)分析轉(zhuǎn)化為信息，而這些信息需要進(jìn)一步的獲得認(rèn)知，轉(zhuǎn)化為有效的預(yù)測和決策，這時就需要數(shù)據(jù)挖掘，數(shù)據(jù)挖掘與數(shù)據(jù)分析兩者緊密相連，具有循環(huán)遞歸的關(guān)系，數(shù)據(jù)分析結(jié)果需要進(jìn)一步進(jìn)行數(shù)據(jù)挖掘才能指導(dǎo)決策，而數(shù)據(jù)挖掘進(jìn)行價值評估的過程也需要調(diào)整先驗(yàn)約束而再次進(jìn)行數(shù)據(jù)分析。而兩者的具體區(qū)別在于：（其實(shí)數(shù)據(jù)分析的范圍廣，包含了數(shù)據(jù)挖掘，在這里區(qū)別主要是指統(tǒng)計分析） 數(shù)據(jù)量上：數(shù)據(jù)分析的數(shù)據(jù)量可能并不大，而數(shù)據(jù)挖掘的數(shù)據(jù)量極大。 約束上：數(shù)據(jù)分析是從一個假設(shè)出發(fā)，需要自行建立方程或模型來與假設(shè)吻合，而數(shù)據(jù)挖掘不需要假設(shè)，可以自動建立方程。 對象上：數(shù)據(jù)分析往往是針對數(shù)字化的數(shù)據(jù)，而數(shù)據(jù)挖掘能夠采用不同類型的數(shù)據(jù)，比如聲音，文本等。 結(jié)果上：數(shù)據(jù)分析對結(jié)果進(jìn)行解釋，呈現(xiàn)出有效信息，數(shù)據(jù)挖掘的結(jié)果不容易解釋，對信息進(jìn)行價值評估，著眼于預(yù)測未來，并提出決策性建議。數(shù)據(jù)分析是把數(shù)據(jù)變成信息的工具，數(shù)據(jù)挖掘是把信息變成認(rèn)知的工具，如果我們想要從數(shù)據(jù)中提取一定的規(guī)律（即認(rèn)知）往往需要數(shù)據(jù)分析和數(shù)據(jù)挖掘結(jié)合使用。5. 第(4)題中所列出的概念有哪些數(shù)學(xué)模型？(寫出這些模型的形式化描述)，那些是新近的模型，以教育(教學(xué)、學(xué)習(xí))為例，可以分析和挖掘的數(shù)據(jù)模型？ 數(shù)據(jù)分析的模型：(1.)PEST分析模型 (2.)5W2H分析模型(3.)邏輯樹分析模型(4.)4P營銷理論(5).用戶行為模型 數(shù)據(jù)分析模型的形式化描述：(1.)PEST分析模型主要針對宏觀市場環(huán)境進(jìn)行分析，從政治、經(jīng)濟(jì)、社會以及技術(shù)四個維度對產(chǎn)品或服務(wù)是否適合進(jìn)入市場進(jìn)行數(shù)據(jù)化的分析，最終得到結(jié)論，輔助判斷產(chǎn)品或服務(wù)是否滿足大環(huán)境。(2.)5W2H分析模型的應(yīng)用場景較廣，可用于對用戶行為進(jìn)行分析以及產(chǎn)品業(yè)務(wù)分析。(3.)邏輯樹分析模型主要針對已知問題進(jìn)行分析，通過對已知問題的細(xì)化分析，通過分析結(jié)論找到問題的最優(yōu)解決方案。(4.)4P營銷理論模型主要用于公司或其中某一個產(chǎn)品線的整體運(yùn)營情況分析，通過分析結(jié)論，輔助決策近期運(yùn)營計劃與方案。(5.)用戶行為分析模型應(yīng)用場景比較單一，完全針對用戶的行為進(jìn)行研究分析。數(shù)據(jù)統(tǒng)計的數(shù)學(xué)模型： 多變量統(tǒng)計分析主要用于數(shù)據(jù)分類和綜合評價。綜合評價是區(qū)劃和規(guī)劃的基礎(chǔ)。從人類認(rèn)識的角度來看有精確的和模糊的兩種類型，因?yàn)榻^大多數(shù)地理現(xiàn)象難以用精確的定量關(guān)系劃分和表示，因此模糊的模型更為實(shí)用，結(jié)果也往往更接近實(shí)際，模糊評價一般經(jīng)過四個過程：(1)評價因子的選擇與簡化。(2)多因子重要性指標(biāo)(權(quán)重)的確定。(3)因子內(nèi)各類別對評價目標(biāo)的隸屬度確定。(4)選用某種方法進(jìn)行多因子綜合。 地理問題往往涉及大量相互關(guān)聯(lián)的自然和社會要素，眾多的要素常常給模型的構(gòu)造帶來很大困難，為使用戶易于理解和解決現(xiàn)有存儲容量不足的問題，有必要減少某些數(shù)據(jù)而保留最必要的信息。 主成分分析是通過數(shù)理統(tǒng)計分析，求得各要素間線性關(guān)系的實(shí)質(zhì)上有意義的表達(dá)式，將眾多要素的信息壓縮表達(dá)為若干具有代表性的合成變量，這就克服了變量選擇時的冗余和相關(guān)，然后選擇信息最豐富的少數(shù)因子進(jìn)行各種聚類分析，構(gòu)造應(yīng)用模型。 (AHP) Hierarahy Analysis ,是系統(tǒng)分析的數(shù)學(xué)工具之一，它把人的思維過程層次化、數(shù)量化，并用數(shù)學(xué)方法為分析、決策、預(yù)報或控制提供定量的依據(jù)。 AHP方法把相互關(guān)聯(lián)的要素按隸屬關(guān)系分為若干層次，請有經(jīng)驗(yàn)的專家對各層次各因素的相對重要性給出定量指標(biāo)，利用數(shù)學(xué)方法綜合專家意見給出各層次各要素的相對重要性權(quán)值，作為綜合分析的基礎(chǔ)。例如要比較n個因素y={yl，y2，…，yn }對目標(biāo)Z的影響，確定它們在z中的比重，每次取兩個因素yi和yJ，用aij表示yi與yJ對Z的影響之比，全部比較結(jié)果可用矩陣A=(aij)n*n表示，A叫成對比矩陣，它應(yīng)滿足：aij0,aij=1/aij (i,j=1,2,...n)使上式成立的矩陣稱互反陣，必有aij=l。 聚類分析的主要依據(jù)是把相似的樣本歸為一類，而把差異大的樣本區(qū)分開來。在由m個變量組成為m維的空間中可以用多種方法定義樣本之間的相似性和差異性統(tǒng)計量。 判別分析是根據(jù)表明事物特點(diǎn)的變量值和它們所屬的類求出判別函數(shù)，根據(jù)判別函數(shù)對未知所屬類別的事物進(jìn)行分類的一種分析方法，與聚類分析不同，它需要已知一系列反映事物特性的數(shù)值變量值及其變量值。 判別分析就是在已知研究對象分為若干類型(組別)并已經(jīng)取得各種類型的一批已知樣品的觀測數(shù)據(jù)基礎(chǔ)上，根據(jù)某些準(zhǔn)則，建立起盡可能把屬于不同類型的數(shù)據(jù)區(qū)分開來的判別函數(shù)，然后用它們來判別未知類型的樣品應(yīng)該屬于哪一類。根據(jù)判別的組數(shù)，判別分析可以分為兩組判別分析和多組判別分析。根據(jù)判別函數(shù)的形式，判別分析可以分為線性判別和非線性判別。根據(jù)判別時處理變量的方法不同，判別分析可以分為逐步判別、序貫判別等。根據(jù)判別標(biāo)準(zhǔn)的不同，判別分析有距離判別、Fisher判別、Bayes判別等。 數(shù)據(jù)挖掘的數(shù)學(xué)模型： 可分為四大類（1.）分類與預(yù)測，決策樹、神經(jīng)網(wǎng)絡(luò)、回歸、時間序列（2.）聚類，Kmeans，快速聚類，系統(tǒng)聚類（3.）關(guān)聯(lián)，apriori算法等（4.）異常值處理。 以教育(教學(xué)、學(xué)習(xí))為例，可以分析和挖掘的數(shù)據(jù)模型？ 基于教育數(shù)據(jù)挖掘的網(wǎng)絡(luò)學(xué)習(xí)過程監(jiān)管研究為例進(jìn)行論述（1.）教育數(shù)據(jù)挖掘及其應(yīng)用。 教育數(shù)據(jù)挖掘是數(shù)據(jù)挖掘技術(shù)在教育領(lǐng)域的具體應(yīng)用。根據(jù)國際教育數(shù)據(jù)挖掘工作組網(wǎng)站的定義，教育數(shù)據(jù)挖掘是指運(yùn)用不斷發(fā)展的方法和技術(shù)，探索特定的教育環(huán)境中的數(shù)據(jù)類型，挖掘出有價值的信息，以幫助教師更好地理解學(xué)生，并改善他們所學(xué)習(xí)的環(huán)境，為教育者、學(xué)習(xí)者、管理者等教育工作者提供服務(wù)。教育數(shù)據(jù)挖掘的主要目標(biāo)包括：構(gòu)建學(xué)習(xí)者模型，預(yù)測學(xué)習(xí)發(fā)展趨勢；分析已有教學(xué)內(nèi)容、教學(xué)模型，提出改進(jìn)優(yōu)化建議；針對各種教育軟件系統(tǒng)，評估其有效性；構(gòu)建教育領(lǐng)域模型，促進(jìn)有效學(xué)習(xí)的產(chǎn)生。教育數(shù)據(jù)挖掘的數(shù)據(jù)來源可以來自于網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)或者教育辦公軟件等，也可以來自于傳統(tǒng)學(xué)習(xí)課堂或傳統(tǒng)測試結(jié)果等。數(shù)據(jù)屬性既可以是個人信息（人口學(xué)信息），也可以是學(xué)習(xí)過程信息。教育數(shù)據(jù)挖掘過程包括數(shù)據(jù)獲取與預(yù)處理、數(shù)據(jù)分析和結(jié)果解釋三個階段。教育數(shù)據(jù)挖掘的模型主要可分為描述性模型和預(yù)測性模型兩類?！枋鲂阅Ｐ陀糜谀Ｊ降拿枋?，為決策制定提供參考意見；而預(yù)測性模型主要用于基于數(shù)據(jù)的預(yù)測（如預(yù)測學(xué)生成績或課程通過情況等）。（2.）網(wǎng)絡(luò)學(xué)習(xí)過程監(jiān)管的教育數(shù)據(jù)挖掘模型根據(jù)網(wǎng)絡(luò)學(xué)習(xí)的特殊屬性及教育數(shù)據(jù)挖掘流程，本研究構(gòu)建了如圖1所示的網(wǎng)絡(luò)學(xué)習(xí)過程監(jiān)管的教育數(shù)據(jù)挖掘模型。數(shù)據(jù)源主要來自網(wǎng)絡(luò)學(xué)習(xí)平臺數(shù)據(jù)庫，以及教務(wù)管理平臺數(shù)據(jù)庫中的學(xué)生課程考試成績、個人信息等數(shù)據(jù)。由于數(shù)據(jù)來源的多樣化，因此在完成數(shù)據(jù)采集之后，必須對數(shù)據(jù)進(jìn)行預(yù)處理，包括去除冗余數(shù)據(jù)、處理缺失數(shù)據(jù)、數(shù)值轉(zhuǎn)換等。數(shù)據(jù)預(yù)處理完成后，進(jìn)入教育數(shù)據(jù)挖掘的核心環(huán)節(jié)——選擇挖掘方法分析數(shù)據(jù)并得出結(jié)果。針對網(wǎng)絡(luò)學(xué)習(xí)平臺的學(xué)習(xí)過程監(jiān)管，使用統(tǒng)計分析與可視化方法了解學(xué)習(xí)者的網(wǎng)絡(luò)學(xué)習(xí)時間分布、偏好頁面等；使用關(guān)聯(lián)規(guī)則了解學(xué)習(xí)者的網(wǎng)絡(luò)學(xué)習(xí)屬性與學(xué)業(yè)成績之間的關(guān)聯(lián)；使用聚類分析對學(xué)習(xí)者分類，教師可以依據(jù)分類結(jié)果對各類學(xué)生進(jìn)行不同形式的監(jiān)管，也可根據(jù)分類結(jié)果給予相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)效果評價。最后，將教育數(shù)據(jù)挖掘的結(jié)果應(yīng)用到網(wǎng)絡(luò)學(xué)習(xí)過程的監(jiān)管中，學(xué)生進(jìn)行新一輪的網(wǎng)絡(luò)學(xué)習(xí)，產(chǎn)生新的網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)，對產(chǎn)生的新數(shù)據(jù)繼續(xù)進(jìn)行分析。如此不斷迭代，對網(wǎng)絡(luò)學(xué)習(xí)過程進(jìn)行調(diào)整和優(yōu)化，使其朝著研究性學(xué)習(xí)和自主性學(xué)習(xí)的目標(biāo)實(shí)現(xiàn)可持續(xù)發(fā)展。6. 大數(shù)據(jù)的本質(zhì)特征是什么？大數(shù)據(jù)是指按照一定的組織結(jié)構(gòu)連接起來的數(shù)據(jù)，是非常簡單而且直接的事物，但是從現(xiàn)象上分析，大數(shù)據(jù)所呈現(xiàn)出來的狀態(tài)復(fù)雜多樣，、交織關(guān)聯(lián)的復(fù)雜系 統(tǒng)結(jié)構(gòu)，數(shù)據(jù)是分布在節(jié)點(diǎn)上的構(gòu)成物質(zhì)，數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系是由節(jié)點(diǎn)的位置決定的，而不是由數(shù)據(jù)本身來決定。也就是說，不同的數(shù)據(jù)位于同一個節(jié)點(diǎn)時，就可 以獲得相同的關(guān)聯(lián)關(guān)系。(1.)使用所有的數(shù)據(jù) 運(yùn)用用戶行為觀察等大數(shù)據(jù)出現(xiàn)前的分析方法，通常是將調(diào)查對象范圍縮小至幾個人。這是因?yàn)?，整理所有目?biāo)用戶的數(shù)據(jù)實(shí)在太費(fèi)時間，所以采取了從總用戶群中，爭取不產(chǎn)生偏差地抽取一部分作為調(diào)查對象，