【文章內(nèi)容簡(jiǎn)介】 別是都可以被看成是數(shù)據(jù)庫(kù)理論和機(jī)器學(xué)習(xí)的交叉科學(xué)。兩個(gè)術(shù)語(yǔ)在定義上有一定的重合度，內(nèi)涵也大致相同，都是從數(shù)據(jù)中挖掘或發(fā)現(xiàn)隱藏的知識(shí)。 它們的研究對(duì)象、方法和結(jié)果的表現(xiàn)形式等方面基本上都是相同的。因此，有些人認(rèn)為，數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)只是叫法不一樣，其含義是相同的。而且，在現(xiàn)今的文獻(xiàn)中，有許多場(chǎng)合，如技術(shù)綜述等，這兩個(gè)術(shù)語(yǔ)仍然不加區(qū)分地使用著。數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)有一定的區(qū)別。關(guān)于數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的區(qū)別有不同的表述，典型的表述有兩種: ①知識(shí)發(fā)現(xiàn)是數(shù)據(jù)挖掘的特例，即把用于挖掘的數(shù)據(jù)集限制在數(shù)據(jù)庫(kù)這種數(shù)據(jù)組織形式上，因此數(shù)據(jù)挖掘可以看作是知識(shí)發(fā)現(xiàn)在挖掘?qū)ο蟮难由旌蛿U(kuò)展。②數(shù)據(jù)挖掘是知識(shí)發(fā)現(xiàn)過(guò)程中的一個(gè)特定步驟。知識(shí)發(fā)現(xiàn)是從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)的全部過(guò)程． 而數(shù)據(jù)挖掘則是此全部過(guò)程的一個(gè)特定的關(guān)鍵步驟。從知識(shí)發(fā)現(xiàn)的含義可以得知，知識(shí)發(fā)現(xiàn)一般可包括以下步驟: ①數(shù)據(jù)清理，消除噪聲和不一致數(shù)據(jù)。 ②數(shù)據(jù)集成，多種數(shù)據(jù)源可以組合在一起。 ③數(shù)據(jù)選擇，從數(shù)據(jù)庫(kù)中檢索與分析任務(wù)相關(guān)的數(shù)據(jù)。 ④數(shù)據(jù)變換，通過(guò)匯總、聚集操作等方式將數(shù)據(jù)統(tǒng)一變換成適合挖掘的形式。 ⑤數(shù)據(jù)挖掘，使用智能方法提取數(shù)據(jù)模式。 ⑥模式評(píng)估，根據(jù)某種興趣度量，識(shí)別表示知識(shí)的真正有趣的模式。 ⑦知識(shí)表示，使用可視化和知識(shí)表示技術(shù)，向用戶提供挖掘的知識(shí)。從這 7 個(gè)步驟，可以看出，數(shù)據(jù)挖掘只是知識(shí)發(fā)現(xiàn)整個(gè)過(guò)程中的一個(gè)特定步驟，它用專門算法從數(shù)據(jù)中提取數(shù)據(jù)模式，是知識(shí)發(fā)現(xiàn)過(guò)程中重要的環(huán)節(jié)。而知識(shí)發(fā)現(xiàn)是一個(gè)高級(jí)的復(fù)雜的處理過(guò)程，它還包括前期處理和后期評(píng)估，即是一個(gè)應(yīng)用了數(shù)據(jù)挖倔算法和評(píng)價(jià)解釋模式的循環(huán)反復(fù)過(guò)程，它們之間相互影響、反復(fù)調(diào)整。 數(shù)據(jù)分析：數(shù)據(jù)分析只是在已定的假設(shè)，先驗(yàn)約束上處理原有計(jì)算方法，統(tǒng)計(jì)方法，將數(shù)據(jù)分析轉(zhuǎn)化為信息，而這些信息需要進(jìn)一步的獲得認(rèn)知，轉(zhuǎn)化為有效的預(yù)測(cè)和決策，這時(shí)就需要數(shù)據(jù)挖掘，數(shù)據(jù)挖掘與數(shù)據(jù)分析兩者緊密相連，具有循環(huán)遞歸的關(guān)系，數(shù)據(jù)分析結(jié)果需要進(jìn)一步進(jìn)行數(shù)據(jù)挖掘才能指導(dǎo)決策，而數(shù)據(jù)挖掘進(jìn)行價(jià)值評(píng)估的過(guò)程也需要調(diào)整先驗(yàn)約束而再次進(jìn)行數(shù)據(jù)分析。而兩者的具體區(qū)別在于：（其實(shí)數(shù)據(jù)分析的范圍廣，包含了數(shù)據(jù)挖掘，在這里區(qū)別主要是指統(tǒng)計(jì)分析） 數(shù)據(jù)量上：數(shù)據(jù)分析的數(shù)據(jù)量可能并不大，而數(shù)據(jù)挖掘的數(shù)據(jù)量極大。 約束上：數(shù)據(jù)分析是從一個(gè)假設(shè)出發(fā)，需要自行建立方程或模型來(lái)與假設(shè)吻合，而數(shù)據(jù)挖掘不需要假設(shè)，可以自動(dòng)建立方程。 對(duì)象上：數(shù)據(jù)分析往往是針對(duì)數(shù)字化的數(shù)據(jù)，而數(shù)據(jù)挖掘能夠采用不同類型的數(shù)據(jù)，比如聲音，文本等。 結(jié)果上：數(shù)據(jù)分析對(duì)結(jié)果進(jìn)行解釋，呈現(xiàn)出有效信息，數(shù)據(jù)挖掘的結(jié)果不容易解釋，對(duì)信息進(jìn)行價(jià)值評(píng)估，著眼于預(yù)測(cè)未來(lái)，并提出決策性建議。數(shù)據(jù)分析是把數(shù)據(jù)變成信息的工具，數(shù)據(jù)挖掘是把信息變成認(rèn)知的工具，如果我們想要從數(shù)據(jù)中提取一定的規(guī)律（即認(rèn)知）往往需要數(shù)據(jù)分析和數(shù)據(jù)挖掘結(jié)合使用。5. 第(4)題中所列出的概念有哪些數(shù)學(xué)模型？(寫出這些模型的形式化描述)，那些是新近的模型，以教育(教學(xué)、學(xué)習(xí))為例，可以分析和挖掘的數(shù)據(jù)模型？ 數(shù)據(jù)分析的模型：(1.)PEST分析模型 (2.)5W2H分析模型(3.)邏輯樹分析模型(4.)4P營(yíng)銷理論(5).用戶行為模型 數(shù)據(jù)分析模型的形式化描述：(1.)PEST分析模型主要針對(duì)宏觀市場(chǎng)環(huán)境進(jìn)行分析，從政治、經(jīng)濟(jì)、社會(huì)以及技術(shù)四個(gè)維度對(duì)產(chǎn)品或服務(wù)是否適合進(jìn)入市場(chǎng)進(jìn)行數(shù)據(jù)化的分析，最終得到結(jié)論，輔助判斷產(chǎn)品或服務(wù)是否滿足大環(huán)境。(2.)5W2H分析模型的應(yīng)用場(chǎng)景較廣，可用于對(duì)用戶行為進(jìn)行分析以及產(chǎn)品業(yè)務(wù)分析。(3.)邏輯樹分析模型主要針對(duì)已知問(wèn)題進(jìn)行分析，通過(guò)對(duì)已知問(wèn)題的細(xì)化分析，通過(guò)分析結(jié)論找到問(wèn)題的最優(yōu)解決方案。(4.)4P營(yíng)銷理論模型主要用于公司或其中某一個(gè)產(chǎn)品線的整體運(yùn)營(yíng)情況分析，通過(guò)分析結(jié)論，輔助決策近期運(yùn)營(yíng)計(jì)劃與方案。(5.)用戶行為分析模型應(yīng)用場(chǎng)景比較單一，完全針對(duì)用戶的行為進(jìn)行研究分析。數(shù)據(jù)統(tǒng)計(jì)的數(shù)學(xué)模型： 多變量統(tǒng)計(jì)分析主要用于數(shù)據(jù)分類和綜合評(píng)價(jià)。綜合評(píng)價(jià)是區(qū)劃和規(guī)劃的基礎(chǔ)。從人類認(rèn)識(shí)的角度來(lái)看有精確的和模糊的兩種類型，因?yàn)榻^大多數(shù)地理現(xiàn)象難以用精確的定量關(guān)系劃分和表示，因此模糊的模型更為實(shí)用，結(jié)果也往往更接近實(shí)際，模糊評(píng)價(jià)一般經(jīng)過(guò)四個(gè)過(guò)程：(1)評(píng)價(jià)因子的選擇與簡(jiǎn)化。(2)多因子重要性指標(biāo)(權(quán)重)的確定。(3)因子內(nèi)各類別對(duì)評(píng)價(jià)目標(biāo)的隸屬度確定。(4)選用某種方法進(jìn)行多因子綜合。 地理問(wèn)題往往涉及大量相互關(guān)聯(lián)的自然和社會(huì)要素，眾多的要素常常給模型的構(gòu)造帶來(lái)很大困難，為使用戶易于理解和解決現(xiàn)有存儲(chǔ)容量不足的問(wèn)題，有必要減少某些數(shù)據(jù)而保留最必要的信息。 主成分分析是通過(guò)數(shù)理統(tǒng)計(jì)分析，求得各要素間線性關(guān)系的實(shí)質(zhì)上有意義的表達(dá)式，將眾多要素的信息壓縮表達(dá)為若干具有代表性的合成變量，這就克服了變量選擇時(shí)的冗余和相關(guān)，然后選擇信息最豐富的少數(shù)因子進(jìn)行各種聚類分析，構(gòu)造應(yīng)用模型。 (AHP) Hierarahy Analysis ,是系統(tǒng)分析的數(shù)學(xué)工具之一，它把人的思維過(guò)程層次化、數(shù)量化，并用數(shù)學(xué)方法為分析、決策、預(yù)報(bào)或控制提供定量的依據(jù)。 AHP方法把相互關(guān)聯(lián)的要素按隸屬關(guān)系分為若干層次，請(qǐng)有經(jīng)驗(yàn)的專家對(duì)各層次各因素的相對(duì)重要性給出定量指標(biāo)，利用數(shù)學(xué)方法綜合專家意見給出各層次各要素的相對(duì)重要性權(quán)值，作為綜合分析的基礎(chǔ)。例如要比較n個(gè)因素y={yl，y2，…，yn }對(duì)目標(biāo)Z的影響，確定它們?cè)趜中的比重，每次取兩個(gè)因素yi和yJ，用aij表示yi與yJ對(duì)Z的影響之比，全部比較結(jié)果可用矩陣A=(aij)n*n表示，A叫成對(duì)比矩陣，它應(yīng)滿足：aij0,aij=1/aij (i,j=1,2,...n)使上式成立的矩陣稱互反陣，必有aij=l。 聚類分析的主要依據(jù)是把相似的樣本歸為一類，而把差異大的樣本區(qū)分開來(lái)。在由m個(gè)變量組成為m維的空間中可以用多種方法定義樣本之間的相似性和差異性統(tǒng)計(jì)量。 判別分析是根據(jù)表明事物特點(diǎn)的變量值和它們所屬的類求出判別函數(shù)，根據(jù)判別函數(shù)對(duì)未知所屬類別的事物進(jìn)行分類的一種分析方法，與聚類分析不同，它需要已知一系列反映事物特性的數(shù)值變量值及其變量值。 判別分析就是在已知研究對(duì)象分為若干類型(組別)并已經(jīng)取得各種類型的一批已知樣品的觀測(cè)數(shù)據(jù)基礎(chǔ)上，根據(jù)某些準(zhǔn)則，建立起盡可能把屬于不同類型的數(shù)據(jù)區(qū)分開來(lái)的判別函數(shù)，然后用它們來(lái)判別未知類型的樣品應(yīng)該屬于哪一類。根據(jù)判別的組數(shù)，判別分析可以分為兩組判別分析和多組判別分析。根據(jù)判別函數(shù)的形式，判別分析可以分為線性判別和非線性判別。根據(jù)判別時(shí)處理變量的方法不同，判別分析可以分為逐步判別、序貫判別等。根據(jù)判別標(biāo)準(zhǔn)的不同，判別分析有距離判別、Fisher判別、Bayes判別等。 數(shù)據(jù)挖掘的數(shù)學(xué)模型： 可分為四大類（1.）分類與預(yù)測(cè)，決策樹、神經(jīng)網(wǎng)絡(luò)、回歸、時(shí)間序列（2.）聚類，Kmeans，快速聚類，系統(tǒng)聚類（3.）關(guān)聯(lián)，apriori算法等（4.）異常值處理。 以教育(教學(xué)、學(xué)習(xí))為例，可以分析和挖掘的數(shù)據(jù)模型？ 基于教育數(shù)據(jù)挖掘的網(wǎng)絡(luò)學(xué)習(xí)過(guò)程監(jiān)管研究為例進(jìn)行論述（1.）教育數(shù)據(jù)挖掘及其應(yīng)用。 教育數(shù)據(jù)挖掘是數(shù)據(jù)挖掘技術(shù)在教育領(lǐng)域的具體應(yīng)用。根據(jù)國(guó)際教育數(shù)據(jù)挖掘工作組網(wǎng)站的定義，教育數(shù)據(jù)挖掘是指運(yùn)用不斷發(fā)展的方法和技術(shù)，探索特定的教育環(huán)境中的數(shù)據(jù)類型，挖掘出有價(jià)值的信息，以幫助教師更好地理解學(xué)生，并改善他們所學(xué)習(xí)的環(huán)境，為教育者、學(xué)習(xí)者、管理者等教育工作者提供服務(wù)。教育數(shù)據(jù)挖掘的主要目標(biāo)包括：構(gòu)建學(xué)習(xí)者模型，預(yù)測(cè)學(xué)習(xí)發(fā)展趨勢(shì)；分析已有教學(xué)內(nèi)容、教學(xué)模型，提出改進(jìn)優(yōu)化建議；針對(duì)各種教育軟件系統(tǒng)，評(píng)估其有效性；構(gòu)建教育領(lǐng)域模型，促進(jìn)有效學(xué)習(xí)的產(chǎn)生。教育數(shù)據(jù)挖掘的數(shù)據(jù)來(lái)源可以來(lái)自于網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)或者教育辦公軟件等，也可以來(lái)自于傳統(tǒng)學(xué)習(xí)課堂或傳統(tǒng)測(cè)試結(jié)果等。數(shù)據(jù)屬性既可以是個(gè)人信息（人口學(xué)信息），也可以是學(xué)習(xí)過(guò)程信息。教育數(shù)據(jù)挖掘過(guò)程包括數(shù)據(jù)獲取與預(yù)處理、數(shù)據(jù)分析和結(jié)果解釋三個(gè)階段。教育數(shù)據(jù)挖掘的模型主要可分為描述性模型和預(yù)測(cè)性模型兩類。——描述性模型用于模式的描述，為決策制定提供參考意見；而預(yù)測(cè)性模型主要用于基于數(shù)據(jù)的預(yù)測(cè)（如預(yù)測(cè)學(xué)生成績(jī)或課程通過(guò)情況等）。（2.）網(wǎng)絡(luò)學(xué)習(xí)過(guò)程監(jiān)管的教育數(shù)據(jù)挖掘模型根據(jù)網(wǎng)絡(luò)學(xué)習(xí)的特殊屬性及教育數(shù)據(jù)挖掘流程，本研究構(gòu)建了如圖1所示的網(wǎng)絡(luò)學(xué)習(xí)過(guò)程監(jiān)管的教育數(shù)據(jù)挖掘模型。數(shù)據(jù)源主要來(lái)自網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)數(shù)據(jù)庫(kù)，以及教務(wù)管理平臺(tái)數(shù)據(jù)庫(kù)中的學(xué)生課程考試成績(jī)、個(gè)人信息等數(shù)據(jù)。由于數(shù)據(jù)來(lái)源的多樣化，因此在完成數(shù)據(jù)采集之后，必須對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括去除冗余數(shù)據(jù)、處理缺失數(shù)據(jù)、數(shù)值轉(zhuǎn)換等。數(shù)據(jù)預(yù)處理完成后，進(jìn)入教育數(shù)據(jù)挖掘的核心環(huán)節(jié)——選擇挖掘方法分析數(shù)據(jù)并得出結(jié)果。針對(duì)網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)的學(xué)習(xí)過(guò)程監(jiān)管，使用統(tǒng)計(jì)分析與可視化方法了解學(xué)習(xí)者的網(wǎng)絡(luò)學(xué)習(xí)時(shí)間分布、偏好頁(yè)面等；使用關(guān)聯(lián)規(guī)則了解學(xué)習(xí)者的網(wǎng)絡(luò)學(xué)習(xí)屬性與學(xué)業(yè)成績(jī)之間的關(guān)聯(lián)；使用聚類分析對(duì)學(xué)習(xí)者分類，教師可以依據(jù)分類結(jié)果對(duì)各類學(xué)生進(jìn)行不同形式的監(jiān)管，也可根據(jù)分類結(jié)果給予相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)效果評(píng)價(jià)。最后，將教育數(shù)據(jù)挖掘的結(jié)果應(yīng)用到網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的監(jiān)管中，學(xué)生進(jìn)行新一輪的網(wǎng)絡(luò)學(xué)習(xí)，產(chǎn)生新的網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)，對(duì)產(chǎn)生的新數(shù)據(jù)繼續(xù)進(jìn)行分析。如此不斷迭代，對(duì)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程進(jìn)行調(diào)整和優(yōu)化，使其朝著研究性學(xué)習(xí)和自主性學(xué)習(xí)的目標(biāo)實(shí)現(xiàn)可持續(xù)發(fā)展。6. 大數(shù)據(jù)的本質(zhì)特征是什么？大數(shù)據(jù)是指按照一定的組織結(jié)構(gòu)連接起來(lái)的數(shù)據(jù)，是非常簡(jiǎn)單而且直接的事物，但是從現(xiàn)象上分析，大數(shù)據(jù)所呈現(xiàn)出來(lái)的狀態(tài)復(fù)雜多樣，、交織關(guān)聯(lián)的復(fù)雜系 統(tǒng)結(jié)構(gòu)，數(shù)據(jù)是分布在節(jié)點(diǎn)上的構(gòu)成物質(zhì)，數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系是由節(jié)點(diǎn)的位置決定的，而不是由數(shù)據(jù)本身來(lái)決定。也就是說(shuō)，不同的數(shù)據(jù)位于同一個(gè)節(jié)點(diǎn)時(shí)，就可 以獲得相同的關(guān)聯(lián)關(guān)系。(1.)使用所有的數(shù)據(jù) 運(yùn)用用戶行為觀察等大數(shù)據(jù)出現(xiàn)前的分析方法，通常是將調(diào)查對(duì)象范圍縮小至幾個(gè)人。這是因?yàn)?，整理所有目?biāo)用戶的數(shù)據(jù)實(shí)在太費(fèi)時(shí)間，所以采取了從總用戶群中，爭(zhēng)取不產(chǎn)生偏差地抽取一部分作為調(diào)查對(duì)象，