【正文】 哲學(xué)、信息學(xué)、計算機科學(xué)等眾多學(xué)科領(lǐng)域，這些領(lǐng)域互相結(jié)合、相互滲透并相互推動。樹的最佳大小是控制模型復(fù)雜性的調(diào)整參數(shù)，它應(yīng)該由數(shù)據(jù)自適應(yīng)的選擇。在這里非純度指標(biāo)用Gini指數(shù)來衡量，它定義為:其中，i(t)是節(jié)點t的Gini指數(shù)，p(i/t)表示在節(jié)點t中屬于i類的樣本所占的比例，p(j/t)是節(jié)點t中屬于j類的樣本所占的比例。設(shè)訓(xùn)練樣本集L={x1,x2,…,xn,Y}。決策樹的算法有很多，有IDCART等等。整個學(xué)習(xí)系統(tǒng)的關(guān)鍵在于執(zhí)行，從而確定了執(zhí)行部分的核心地位。影響學(xué)習(xí)系統(tǒng)設(shè)計的第二個因素是知識庫。知識庫里存放的是指導(dǎo)執(zhí)行部分動作的一般原則，但環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息卻是各種各樣的。神經(jīng)網(wǎng)絡(luò)的復(fù)蘇, 帶動著各種非符號學(xué)習(xí)方法與符號學(xué)習(xí)并駕齊驅(qū), 并且已超越研究范圍, 進(jìn)入到自動化及模式識別等領(lǐng)域, 掀起一場聯(lián)結(jié)主義的熱潮,各種學(xué)習(xí)方法開始繼承, 多策略學(xué)習(xí)已經(jīng)使學(xué)習(xí)系統(tǒng)愈具有應(yīng)用價值, 開始從實驗室走向應(yīng)用領(lǐng)域。 如果不要任何初始知識,則學(xué)習(xí)系統(tǒng)無法學(xué)到高層次的概念。（2）冷靜時期：20 世紀(jì) 60 年代早期開始研究面向概念的學(xué)習(xí), 即符號學(xué)習(xí)。機器學(xué)習(xí)在人工智能領(lǐng)域中是一個相對比較活躍的研究領(lǐng)域,其研究目的就是要促進(jìn)機器像人樣可以源源不斷獲取外界的知識,建立相關(guān)學(xué)習(xí)的理論,構(gòu)建學(xué)習(xí)系統(tǒng),并將這些發(fā)明應(yīng)用于各個領(lǐng)域。下面主要介紹兩位機器學(xué)習(xí)專業(yè)研究者賦予機器學(xué)習(xí)的定義。機器學(xué)習(xí)大作業(yè) 題 目 機器學(xué)習(xí)大報告 學(xué) 院 電子工程學(xué)院 專 業(yè) 學(xué)生姓名 學(xué) 號 目 錄第一章 機器學(xué)習(xí)的基本理論及算法 3 3 機器學(xué)習(xí)的概念 3 機器學(xué)習(xí)的發(fā)展歷程 3 機器學(xué)習(xí)的模型 4 5 決策樹算法 5 人工神經(jīng)網(wǎng)絡(luò) 6 7 遺傳算法 8 支持向量機 9第二章 支持向量機（SVM）原理 11 SVM的產(chǎn)生與發(fā)展 11 統(tǒng)計學(xué)習(xí)理論基礎(chǔ) 12 SVM原理 12．最優(yōu)分類面和廣義最優(yōu)分類面 13 SVM的非線性映射 16．核函數(shù) 17第三章 支持向量機的應(yīng)用研究現(xiàn)狀 19 應(yīng)用概述 19 19 人臉檢測、驗證和識別 19 20 文字／手寫體識別 20 圖像處理 20 其他應(yīng)用研究 21第四章 基于SVM的實例及仿真結(jié)果 23 16棋盤格數(shù)據(jù)分類 23 UCI中iris數(shù)據(jù)分類 25第一章 機器學(xué)習(xí)的基本理論及算法 機器學(xué)習(xí)的概念機器學(xué)習(xí)是人工智能的一個分支，是現(xiàn)代計算機技術(shù)研究一個重點也是熱點問題。蘭利（）認(rèn)為：“機器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學(xué)習(xí)中改善具體算法的性能”。 機器學(xué)習(xí)的發(fā)展歷程機器學(xué)習(xí)(machine learning)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計算的核心研究課題之一。使用的工具是語義網(wǎng)絡(luò)或謂詞邏輯, 不再是數(shù)值或者統(tǒng)計方法。（3）復(fù)興時期：20 世紀(jì) 70 年代中期, 研究活動日趨興旺, 各種學(xué)習(xí)方法不斷推出, 實驗系統(tǒng)大量涌現(xiàn), 1980 年在卡內(nèi)基 機器學(xué)習(xí)的模型機器學(xué)習(xí)系統(tǒng)主要由三個部分構(gòu)成：環(huán)境、知識庫和執(zhí)行部分。如果信息的質(zhì)量較高，與一般原則的差別較小，則學(xué)習(xí)部分比較容易處理。知識的表示有多種形式，比如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等。學(xué)習(xí)部分進(jìn)行學(xué)習(xí)的目標(biāo)就是改進(jìn)和完善執(zhí)行部分的動作。這些算法均采用自頂向下的貪婪算法，每個節(jié)點選擇分類效果最好的屬性將節(jié)點分裂為2個或多個子結(jié)點，繼續(xù)這一過程直到這棵樹能準(zhǔn)確地分類訓(xùn)練集，或所有屬性都已被使用過。其中，xi(i=1,2,…,n)稱為屬性向量；Y稱為標(biāo)簽向量或類別向量。用該分裂變量和分裂閾值把根節(jié)點t1分裂成t2和t3，如果在某個節(jié)點ti處，不可能再有進(jìn)一步非純度的顯著降低，則該節(jié)點ti成為葉結(jié)點，否則繼續(xù)尋找它的最優(yōu)分裂變量和分裂閾值進(jìn)行分裂。一種可取的策略是增長一棵較大的樹T0，僅當(dāng)達(dá)到最小節(jié)點大小(比如5)時才停止分裂過程。不同領(lǐng)域的科學(xué)家從各自學(xué)科的特點出發(fā)，提出問題并進(jìn)行了研究。諾依曼在研究中提出了以簡單神經(jīng)元構(gòu)成的再生自動機網(wǎng)絡(luò)結(jié)構(gòu)；20世紀(jì)50年代末，“感知機”，它是一種多層的神經(jīng)網(wǎng)絡(luò)，這項工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實踐；60年代初期，Widrow提出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)，在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)的研究在一定程度上受到了生物學(xué)的啟發(fā)，因為生物的學(xué)習(xí)系統(tǒng)是由相互連接的神經(jīng)元(Neuron)組成的異常復(fù)雜的網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)算法的重點是構(gòu)造閾值邏輯單元，一個值邏輯單元是一個對象，它可以輸入一組加權(quán)系數(shù)的量，對它們進(jìn)行求和，如果這個和達(dá)到或者超過了某個閾值，輸出一個量。設(shè)訓(xùn)練樣本集分為M類，記為C={c1,…,ci,…,cM}，每類的先驗概率為P(ci)，i=1,2,…,M。 。Bayes方法的薄弱環(huán)節(jié)在于實際情況下，類別總體的概率分布和各類樣本的概率分布函數(shù)(或密度函數(shù))常常是不知道的。它是一種模擬達(dá)爾文進(jìn)化論的自然選擇和遺傳機制的隨機優(yōu)化搜索方法。 由于遺傳算法具有這些性質(zhì)，它已經(jīng)被廣泛地應(yīng)用于組合優(yōu)化、信號處理、自適應(yīng)控制和人工生命等領(lǐng)域。并根據(jù)目標(biāo)函數(shù)對每個個體進(jìn)行評估，計算出適應(yīng)度值。該圖給出了遺傳算法求解優(yōu)化問題的基本框架，大多數(shù)遺傳算法均可包含于此框架內(nèi)。非線性支持向量分類機的數(shù)學(xué)模型可以描述如下：設(shè)給定訓(xùn)練集為{(x1,y1),(x2,y2),?,(xl,yl)}，xi∈ Rn為輸入向量，yi∈ {?1,1}，(1 ≤ i ≤ l)為樣本類別標(biāo)志，l 為樣本總數(shù)。 以上算法是為二值分類問題設(shè)計的，當(dāng)處理多類問題時，就需要構(gòu)造多類分類器。訓(xùn)練時一次把某個類別的樣本歸為一類，其它剩余的樣本歸為另一類。其做法是在任意兩類樣本之間設(shè)計一個支持向量機，k 類樣本需要設(shè)計k(k ? 1)/2個支持向量機。自1995年Vapnik在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識別的新方法之后，SVM一直倍受關(guān)注。此后，臺灣大學(xué)林智仁(Lin ChihJen)教授等對SVM的典型應(yīng)用進(jìn)行總結(jié)，并設(shè)計開發(fā)出較為完善的SVM工具包，也就是LIBSVM(A Library for Support Vector Machines)。Vapnik等人從上世紀(jì)六、七十年代開始致力于該領(lǐng)域研究，直到九十年代中期，有限樣本條件下的機器學(xué)習(xí)理論才逐漸成熟起來，形成了比較完善的理論體系——統(tǒng)計學(xué)習(xí)理論。其次，它通過使用結(jié)構(gòu)風(fēng)險最小化原理在屬性空間構(gòu)建最優(yōu)分類超平面，使得分類器得到全局最優(yōu)，并在整個樣本空間的期望風(fēng)險以某個概率滿足一定上界。(4)分類間隔的最大化，使得支持向量機算法具有