數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究與發(fā)展現(xiàn)狀論文(編輯修改稿)
2025-07-16 23:07 本頁面
【文章內(nèi)容簡介】 中個性較為鮮明的是利用矩陣進(jìn)行運(yùn)算發(fā)掘，矩陣不僅能準(zhǔn)確表示W(wǎng)eb站點(diǎn)有向圖，而且能有效存儲用戶訪問信息，矩陣可以進(jìn)行壓縮，節(jié)約大量空間和時間。在Apriori算法中，把所有的項(xiàng)集元素在每個事務(wù)中作統(tǒng)計(jì)和篩選，所以耗時很多，但結(jié)果精確?？紤]了以上算法的優(yōu)點(diǎn)，有必要提出一種可正確挖掘不同用戶瀏覽興趣路徑的算法。即考慮了算法的快速性，又考慮了發(fā)掘結(jié)果的準(zhǔn)確性。關(guān)鍵字：數(shù)據(jù)挖掘技術(shù)、挖掘算法、Web數(shù)據(jù)挖掘1 目前的研究技術(shù)數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。何為知識？從廣義上理解，數(shù)據(jù)、信息也是知識的表現(xiàn)形式，但是人們更把概念、規(guī)則、模式、規(guī)律和約束等看作知識。人們把數(shù)據(jù)看作是形成知識的源泉，好像從礦石中采礦或淘金一樣。原始數(shù)據(jù)可以是結(jié)構(gòu)化的，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)；也可以是半結(jié)構(gòu)化的，如文本、圖形和圖像數(shù)據(jù)；甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識的方法可以是數(shù)學(xué)的，也可以是非數(shù)學(xué)的；可以是演繹的，也可以是歸納的。發(fā)現(xiàn)的知識可以被用于信息管理，查詢優(yōu)化，決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護(hù)。因此，數(shù)據(jù)挖掘是一門綜合交叉學(xué)科，它綜合了機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析和數(shù)據(jù)庫技術(shù)，它把人們對數(shù)據(jù)的應(yīng)用從低層次的簡單查詢，提升到從數(shù)據(jù)中挖掘知識，提供決策支持。在這種需求牽引下，匯聚了不同領(lǐng)域的研究者，尤其是數(shù)據(jù)庫技術(shù)、人工智能技術(shù)、數(shù)理統(tǒng)計(jì)、可視化技術(shù)、并行計(jì)算等方面的學(xué)者和工程技術(shù)人員，投身到數(shù)據(jù)挖掘這一新興的研究領(lǐng)域，形成新的技術(shù)熱點(diǎn)。需要說明的是，這里所說的知識發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而皆準(zhǔn)的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學(xué)定理和純數(shù)學(xué)公式，更不是什么機(jī)器定理證明。所有發(fā)現(xiàn)的知識都是相對的，是有特定前提和約束條件、面向特定領(lǐng)域的，同時還要能夠易于被用戶理解，最好就能用自然語言表達(dá)發(fā)現(xiàn)結(jié)果，因此DMKD（數(shù)據(jù)挖掘和知識發(fā)現(xiàn)）的研究成果是要講求實(shí)際的。2 數(shù)據(jù)挖掘技術(shù)分析數(shù)據(jù)挖掘是一個完整的過程，該過程從大型的數(shù)據(jù)庫中挖掘先前未知的、有效的、可使用信息，并使用這些信息做出決策或豐富知識。數(shù)據(jù)挖掘環(huán)境如下所示:圖2－1數(shù)據(jù)挖掘環(huán)境圖21描述了數(shù)據(jù)挖掘環(huán)境，數(shù)據(jù)挖掘工具從數(shù)據(jù)庫中抽取有用的信息，由可視化工具表達(dá)給用戶。數(shù)據(jù)挖掘的基本過程和主要步驟如下:（1）確定業(yè)務(wù)對象清晰地定義出業(yè)務(wù)問題，認(rèn)清數(shù)據(jù)挖掘的目的是數(shù)據(jù)挖掘的重要一步。挖掘的最后結(jié)果是不可預(yù)測的，但要探索的問題應(yīng)是有預(yù)見的，為了數(shù)據(jù)挖掘而數(shù)據(jù)挖掘則帶有盲目性，是不會成功的。（2）數(shù)據(jù)準(zhǔn)備1)數(shù)據(jù)的選擇:搜索所有與業(yè)務(wù)對象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，并從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)。2)數(shù)據(jù)的預(yù)處理:研究數(shù)據(jù)的質(zhì)量，為進(jìn)一步的分析做準(zhǔn)備，并確定將要進(jìn)行的挖掘操作的類型。3)數(shù)據(jù)的轉(zhuǎn)換:將數(shù)據(jù)轉(zhuǎn)換成一個分析模型。這個分析模型是針對挖掘算法建立的，建立一個真正適合挖掘算法的分析模型是數(shù)據(jù)挖掘成功的關(guān)鍵。4）數(shù)據(jù)挖掘：對所得到的經(jīng)過轉(zhuǎn)換的數(shù)據(jù)進(jìn)行挖掘。除了完善從選擇合適的挖掘算法外，其余一切工作都能自動地完成。5）結(jié)果分析：解釋并評估結(jié)果。其使用的分析方法一般應(yīng)作數(shù)據(jù)挖掘操作而定，通常會用到可視化技術(shù)。3 信息挖掘技術(shù)算法1）人工神經(jīng)網(wǎng)絡(luò):人工神經(jīng)網(wǎng)絡(luò)從結(jié)構(gòu)上模仿生物神經(jīng)網(wǎng)絡(luò)，以求達(dá)到模擬人類的形象直覺思維的目標(biāo)。人工神經(jīng)網(wǎng)絡(luò)技術(shù)利用其非線性映射的思想和并行處理的方法，用神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)可以表達(dá)輸入與輸出的關(guān)聯(lián)知識。人工神經(jīng)網(wǎng)絡(luò)建立在可以自學(xué)習(xí)的數(shù)學(xué)模型的基礎(chǔ)之上。它可以對大量復(fù)雜的數(shù)據(jù)進(jìn)行分析。并可以完成對人腦或其他計(jì)算機(jī)來說極為復(fù)雜的模式抽取及趨勢分析。其比較典型的學(xué)習(xí)方法是回溯法。它通過將輸出結(jié)果同一些已知值進(jìn)行一系列比較。加權(quán)值不斷調(diào)整。得到一個新的輸出值，再通過不斷學(xué)習(xí)、調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，最后以特定的網(wǎng)絡(luò)結(jié)構(gòu)來表達(dá)輸入空間與輸出空間的映射關(guān)系，是一種通過訓(xùn)練來學(xué)習(xí)的非線性預(yù)測模型，可以完成分類、聚類、特征挖掘等多種數(shù)據(jù)挖掘任務(wù)。2）決策樹法：決策樹是通過一系列規(guī)則對數(shù)據(jù)進(jìn)行分類的過程。它以信息論中的互信息(信息增益)原理為基礎(chǔ)尋找數(shù)據(jù)庫中具有最大信息量的字段建立決策樹的一個結(jié)點(diǎn)，再根據(jù)字段的不同取值建立樹的分枝；在每個分枝中集中重復(fù)建樹的下層結(jié)點(diǎn)和分枝的過程，即可建立決策樹。采用決策樹，可以將數(shù)據(jù)規(guī)則可視化，其輸出結(jié)果也容易理解。該類方法的實(shí)用效果好，影響較大。3）遺傳算法：遺傳算法是一種較新的非線性優(yōu)化技術(shù)。它基于生物進(jìn)化理論中的基因重組、突變和自然選擇等概念設(shè)計(jì)一系列的過程來達(dá)到優(yōu)化的目的。遺傳算法作用于對某一特定問題的一組可能的解法，試圖通過基因組合、交叉、變異過程來組合或“繁殖”現(xiàn)存的最好的解法來產(chǎn)生一個新的解集，然后利用基于“適者生存”的理論的自然選擇方法來使較差的解法被拋棄，使繁殖的結(jié)果得到改善，我們需要把數(shù)據(jù)挖掘任務(wù)表達(dá)為一種搜索問題而發(fā)揮遺傳算法的優(yōu)化搜索能力。4）統(tǒng)計(jì)學(xué)方法:利用統(tǒng)計(jì)學(xué)原理對數(shù)據(jù)庫中的信息進(jìn)行分析?？蛇M(jìn)行常用統(tǒng)計(jì)(求大量數(shù)據(jù)中的最大值，最小值，總和，平均值等)，回歸分析(求回歸方程來表示變量間的數(shù)量關(guān)系)，相關(guān)分析(求相關(guān)系數(shù)來度量變量間的相關(guān)程度)，差異分析(A樣本統(tǒng)計(jì)量的值得出差異來確定總體參數(shù)之間是否存在差異)等。5）粗糙集方法:粗
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1