【導(dǎo)讀】對新技術(shù)和自動(dòng)工具的需求，以便幫助我們將海量數(shù)據(jù)轉(zhuǎn)換成信息和知識。以下介紹了數(shù)據(jù)挖掘技。的基礎(chǔ)分析，給出了實(shí)際應(yīng)用例子。結(jié)果表明，由決策樹算法。據(jù)信息急劇增加。正以幾何級數(shù)或指數(shù)增長。目前能夠?qū)⑦@些數(shù)據(jù)進(jìn)行其利用并分析處理的工具卻很少。根本不可能直接測量的參數(shù)進(jìn)行評估。結(jié)果沒有預(yù)定概念。的知識與計(jì)算機(jī)的搜索能力之間尋求平衡以求獲得最好的結(jié)果。數(shù)據(jù)挖掘是使用學(xué)習(xí)方法將統(tǒng)計(jì)學(xué)強(qiáng)化后的一種形式。起源于多種學(xué)科，其中最重要的兩門是統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)，統(tǒng)計(jì)學(xué)起源于數(shù)學(xué)，因此，相比之下，機(jī)器學(xué)習(xí)更多地起源于計(jì)算機(jī)實(shí)踐。統(tǒng)計(jì)學(xué)強(qiáng)調(diào)算法，這不會讓人感到吃驚，“學(xué)習(xí)”這個(gè)詞包括了過程的概念，于工程系和工業(yè)過程。以決定其數(shù)學(xué)模型的問題通常被叫做系統(tǒng)識別。最重要的是預(yù)測系統(tǒng)的行為，并結(jié)實(shí)系統(tǒng)變量之間的相互作用。這類模型中收尋將要到處的最適合的模型。

　　

【正文】 表示的一個(gè)葉節(jié)點(diǎn)。 2． T 不包含樣本。決策樹也是一個(gè)葉，但和該葉關(guān)聯(lián)的類由不同于 T 的信息決定，如 T中的絕大多數(shù)類。 算法以在所給節(jié)點(diǎn)的雙親上出現(xiàn)最頻繁的類作為準(zhǔn)則。 3． T 包含屬于不同類的樣本。這種情況下，是把 T 精華成朝向一個(gè)單類樣本集的樣本子集。根據(jù)某一個(gè)或更多互斥的輸出 {O1， O2,?,O N}的合適檢驗(yàn)。 T 被分區(qū)成子集 T1，T2， ? TN，其中 Ti包括 T 中做選擇的檢驗(yàn)的輸出是 OI 的所有樣本。 T的決策樹包括標(biāo)識檢驗(yàn)的一個(gè)決策點(diǎn)和每個(gè)可能輸出的 一個(gè)分枝 對訓(xùn)練樣本的每個(gè)子集重復(fù)應(yīng)用同一個(gè)樹的構(gòu)造程序，使得訓(xùn)練樣本的子集 TI 建立起決策樹的第 I個(gè)分枝。訓(xùn)練樣本的連續(xù)分區(qū)繼續(xù)進(jìn)行直到所有的子集包含屬于該類的樣本。 樹的構(gòu)造過程的定義不是唯一的。對不同的檢驗(yàn)，即使只是它們運(yùn)用的順序不同，也會生成不同的樹。理想情況下，我們愿意在樣本集分區(qū)的沒個(gè)步驟進(jìn)行檢驗(yàn)，使得最終的樹較小。既然我們尋找的是與訓(xùn)練集一致的緊湊的決策樹，為什么不求出所有的樹，并選擇最簡單的呢？不幸的是，求出與一個(gè)訓(xùn)練數(shù)據(jù)集一致的最小的決策樹的問題是完全非線性的。對所有可能的樹進(jìn)行 舉例和分析將會導(dǎo)致實(shí)際問題的組合爆炸。例如，對一個(gè)具有 5 個(gè)屬性和 20個(gè)訓(xùn)練例子的小型數(shù)據(jù)庫，根據(jù)每個(gè)屬性的不同值數(shù)量，決策樹可能會多于 106 個(gè)。因此，大多數(shù)決策樹的構(gòu)造方法是無回朔的貪心算法。只要通過試探法選擇了某個(gè)檢驗(yàn)，使進(jìn)度的度量最大化，切當(dāng)前的檢驗(yàn)選擇的增益標(biāo)準(zhǔn)是建立在所給的數(shù)據(jù)分區(qū)步驟的可利用的信息基礎(chǔ)上的。 檢驗(yàn)結(jié)構(gòu) 一般包含 3種類型的檢驗(yàn)結(jié)構(gòu)： 1．離散值的“標(biāo)準(zhǔn)”檢驗(yàn)，對屬性的每個(gè)可能值有一個(gè)分枝和輸出。 2. 如果屬性 Y 有連續(xù)的數(shù)值，通過將該值和閥值 Z 比 較，用輸出 Y=Z 和 YZ 定義二元檢驗(yàn)。 3．基于離散值的更復(fù)雜的檢驗(yàn)，該檢驗(yàn)中屬性的每個(gè)可能值被分配到許多易變的組中，每組都有一個(gè)輸出和分枝。 修剪決策樹 決策樹修剪的任務(wù)是拋棄一個(gè)或更多的子樹，并用葉替換這些子樹，使決策樹簡單化。在替換這些子樹時(shí)，期望算法降低預(yù)測誤差率來提高分類模型的質(zhì)量。但是誤差率的技術(shù)并不簡單。僅根據(jù)一個(gè)訓(xùn)練數(shù)據(jù)集得到的誤差率并不呢個(gè)得出一個(gè)正確的評價(jià)。評價(jià)預(yù)測誤差率的一個(gè)可行方法是用另外一個(gè)新的有效檢驗(yàn)樣本。在具備可用訓(xùn)練和檢驗(yàn)樣本的情況下，決策樹修建的基本思想是去掉那些對未知檢驗(yàn)的樣本的分類精度沒有幫助的部分樹 ，生成一個(gè)更簡單，更容易理解的樹。有兩種改進(jìn)的遞歸分區(qū)方法： 1．在某些情況下決定不把樣本集分區(qū)的更細(xì)。停止準(zhǔn)則通常是一些統(tǒng)計(jì)檢驗(yàn)。 如果分區(qū)前后分類精度沒有顯著的不同，那么 用當(dāng)前的點(diǎn)作為一個(gè)葉。由于決策在分區(qū)前提前做出，因此該方法叫預(yù)修剪。 2．用所選的精度準(zhǔn)則回頭去除樹的一些點(diǎn)。在構(gòu)建完樹之后做的叫后修剪。 遵循后修剪方法，但它用具體的方法評估預(yù)測誤差率 ，該方法叫悲觀修剪。對于樹中的每個(gè)節(jié)點(diǎn)，可以用二項(xiàng) 式分布統(tǒng)計(jì)表計(jì)算置信極限的上限 Ucf 的估計(jì)值。參數(shù) Ucf是所給節(jié)點(diǎn)的函數(shù)。 用默認(rèn)的置信度是 25%，所給比較節(jié)點(diǎn)與它的葉的加權(quán)置信度。權(quán)值是沒個(gè)葉的樣本的總數(shù)。如果子樹中的某個(gè)根節(jié)點(diǎn)的預(yù)測誤差率比葉的加權(quán)和小，那么用它的根節(jié)點(diǎn)替換該子樹，變成修剪后的樹的一個(gè)新葉 。 五 ． 算法 應(yīng)用舉例創(chuàng)建一個(gè)決策樹 使用算法 我們來分析 算法的應(yīng)用并創(chuàng)建一個(gè)決策樹的簡單的例子。我們給出數(shù)據(jù)集，其中有 9個(gè)樣本，通過三個(gè)輸入屬性描述且屬于所給的兩個(gè)類 (類 1,類 2)之一。以表格的形式給出數(shù)據(jù)集合如下 所示： 我們需要研究得出的就是三個(gè)屬性中分別屬于類 1 和類 2 的共性的值 ,由上可知 3 個(gè)樣本屬于類 1， 6個(gè)樣本屬于類 2，因此 分區(qū)前的熵為： Info(T) = – 3/9log23/9 – 6/9log26/9 = 比特 首先，我們分別根據(jù)屬性 1和屬性 3 對樣本進(jìn)行分類，所得的信息增益如下所示： 其中 x1 和 x3 分別表示屬性 1 和屬性 3，現(xiàn)在屬性 2 還沒有計(jì)算，因?yàn)閷傩? 是個(gè)連續(xù)變量，我們必須先把它離散化。這里的離散化是把連續(xù)的樣本排成順序，然后找 出它的中間某個(gè)值（我們把這個(gè)值叫作閥值），使得根據(jù)閥值計(jì)算出來的信息增益達(dá)到最大。不同的算法對閥值的計(jì)算是不同的， 算法與別的算法不同之處在于它選擇每個(gè)分區(qū)的最小值作為閥值，例如我們的例子中屬性 2的閥值是 {58,65,70,75,80},從這幾個(gè)值中選取最優(yōu)閥值（最高信息增益） ,對于我們的例子閥值為 70，相應(yīng)的檢驗(yàn) 3（屬性 2=70和屬性 270）的信息增益技術(shù)如下： Infox2 (T)= 4/9 log21/2 +5/9 (1/5log21/5 + 4/5log24/5) = 比特 Gain(x2) = – = 比特 Infox1(T) = 4/9(– 3/4log23/4– 1/4 log21/4) +3/9(– 3/3 log23/3) +2/9(– 2/2 log22/2) = 比特 Gain(x1) = – = 比特 Infox3(T)= 3/9(– 1/3 log21/3 – 2/3 log22/3) +4/9(– 1/4 log21/4 – 2/3 log23/4) +1/9(– 1/1 log21/1) + 1/9(– 1/1 log21/1 ) = 比特 Gain(x2) = – = 比特 現(xiàn)在，我們比較一下三個(gè)屬性的信息增益，可以看出屬性 1 具有最高信息增益 比特，所以選擇屬性 1對決策樹進(jìn)行首次分區(qū)。如下所示： 初始分區(qū)后，每個(gè)子節(jié)點(diǎn)包含幾個(gè)樣本，可是第一個(gè)子節(jié)點(diǎn)所包含的樣本仍然不同屬于一個(gè)類，所以我們還要繼續(xù)對第一個(gè)節(jié)點(diǎn)采取同樣的方法進(jìn)行分區(qū)，直到樹的每個(gè)分支都屬于同一個(gè)類為止。實(shí)際上創(chuàng)建決策樹的過程應(yīng)該是一個(gè)遞歸的過程。中間建樹的過程我們省略，只給出結(jié)果如下： 從上面的樹中我們可以看到屬性 1為 B 或者 C結(jié)果都是類 2，所以我們把兩個(gè)記錄集合并，對上面的結(jié)果進(jìn)行整理去除數(shù)據(jù)得到?jīng)Q策樹如下所示： 我們從這棵決策樹可以很明顯的得到一些信息：屬性 1為 A并且屬性 258的時(shí)候?yàn)轭?1；屬性 1為 B,C 或者屬性 1為 A屬性 2=58 的時(shí)候?yàn)轭?2。另外，決策樹可以用執(zhí)行代碼的形式表示，這種可執(zhí)行代碼用 ifthen 結(jié)構(gòu)來對決策樹進(jìn)行分枝。決策樹從一種表示形式到另一種表示形式的轉(zhuǎn)換是非常簡單直接的。 當(dāng)然還可以如下 圖給出偽代碼的最終決策樹。 上圖為偽代碼形式的決策樹 六 .結(jié)論總結(jié)工作 數(shù)據(jù)挖掘 (Data Mining)和數(shù)據(jù)倉庫作為決策支持新技術(shù)在近十年來得到了迅速的發(fā)展。數(shù)據(jù)倉庫的發(fā)展為數(shù)據(jù)挖掘技術(shù)開辟了新的戰(zhàn)場，同時(shí)也提出了新的要求和挑戰(zhàn)長期以來數(shù)據(jù)挖掘一直都是人們矚目的領(lǐng)域，而分類問題又是數(shù)據(jù)挖掘方法中比較重要的一部分， 以上 研究了分類方法中常見的 決策樹算法， ，所以值得大家好好研究。但是即使是再好的算法也會有一定的局限性， 所以我們在使用挖掘算法的時(shí)候應(yīng)該多種算法綜合考慮，選出一種更加適合所要挖掘的領(lǐng)域的算法。 七 .參考文獻(xiàn) （ 8 本）： [1] 陳文偉，黃金才，趙新昱 數(shù)據(jù)挖掘技術(shù) 北京工業(yè)大學(xué)出版社 [2] [美 ] Mehmed Kantardzic 數(shù)據(jù)挖掘 —— 概念，模型，方法和算法 清華大學(xué)出版社 [3] 《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)》 陳京民 電子工業(yè)出版社 [4] 陳燕 數(shù)據(jù)倉庫技術(shù)及其應(yīng)用 大連海事出版社 [5] Jiawei Han ,Micheline Kamber. 數(shù)據(jù)挖掘概念與技術(shù) 機(jī)械工業(yè)出版社 [6] 《數(shù)據(jù)挖掘原理與算法》 邵峰晶 于忠清 水利水電出版社 [7]《 數(shù)據(jù)挖掘 —— 概念與技術(shù) 》 Jiawei Han 機(jī)械工業(yè)出版社 [8]《 SQL Server 2020 數(shù)據(jù)挖掘 》 Claude Seidman 機(jī)械工業(yè)出版社