ch10決策樹-資料下載頁
2025-09-20 22:36本頁面
【導讀】基于度量的模式分類方法。模式間沒有距離的概念。決策樹是一種類似流程圖的樹形結構，每個內部節(jié)點表。與根節(jié)點相連的不同分支，對應這個屬性的不同取值。根據不同的回答，轉向相應的分支。在新到達的節(jié)點處做同樣的分支判斷。這一過程持續(xù)，直到到達某個葉節(jié)點，輸出該葉節(jié)點的。利用合取式和析取式獲得某個類別的明確描述。只需一系列簡單查詢即可對模式的類別做出判斷。第一個決策樹算法稱為CLS(ConceptLearning. 真正引發(fā)決策樹研究熱潮的算法是ID3. 通用的決策樹算法CART(Classificationand. 基于決策樹的集成學習算法：隨機森林(Random. 所有屬性都是標稱型的（如果是連續(xù)數值型的，則需要。查詢的選擇基于啟發(fā)式或者統(tǒng)計特征。滿足如下條件之一時，劃分操作停止。所有落入某一節(jié)點的樣本均屬于同一類別。沒有特征能夠進一步用于劃分樣本集。任意決策樹都可以用分支系數為2的決策樹（即二。二叉樹是最常用的決策樹形式。決策樹設計的核心問題之一。如果采用熵不純度，則不純度下降差就是本次查詢所能提供的
【正文】 函數可能得到不同的聚類結果 ? 常用準則函數 ? 誤差平方和準則 ? 最小方差準則 ? 散布準則 誤 差平方和準 則 ? 誤差平方和準則 是最簡單也使用最廣的聚類準則函數 ? 其中 是第 i個聚類 中樣本的均值 ? 當數據點能被劃分成很好的相互區(qū)分的幾個聚類，并且聚類內部又很稠密時，適用 誤差平方和準則 誤 差平方和準 則 ? 采用 誤差平方和準則 可能存在的問題 ? 當不同聚類所包含的樣本個數相差較大時，將一個大的聚類分割開來反而可能得到更小的誤差平方和 最小方差準 則 ? 由于誤差平方和準則度量的是樣本點到聚類均值的方差，所以它是最小方差準則的一種 ? 與誤差平方和準則等價的形式 其中， 為第 i個聚類中的樣本個數 ? 最小方差準則的一般形式 為某種相似性函數 散布準 則 ? 均值向量 ? 第 i個聚類的均值向量 ? 總的均值向量 散布準 則 ? 散布矩陣 ? 第 i個聚類的散布矩陣 ? 總的散布矩陣 ? 聚類內散布矩陣 散布準 則 ? 散布矩陣 ? 聚類間散布矩陣 ? 聚類內散布矩陣和聚類間散布矩陣的關系 散布準 則 ? 為了得到更好的聚類質量，我們希望得到較小的聚類內散布和較大的聚類間散布 ? 需要某種 標量 度量矩陣的“大小”，如矩陣的 跡（ trace，即矩陣對角線上元素之和） ? 由于 ，而 與如何劃分聚類無關，所以，最小化 就同時最大化聚類間散布矩陣的跡 標量度量也可選用矩陣的行列式 迭代最 優(yōu) 化 ? 對一個有限樣本集來說，可能的劃分的個數是有限的，理論上可以用窮舉法找到最優(yōu)解。然而，窮舉法因計算量過大而往往無法實現 ? 迭代最優(yōu)化 方法經常用于尋求最優(yōu)劃分 ? 首先開始于一些合理的初始劃分 ? 然后將某些樣本從一個聚類移動到另一個聚類 ——如果這樣做能夠改善準則函數的話 ? 重復迭代直到沒有顯著改善時停止 ? 這種迭代方法可以保證收斂到局部最優(yōu)，但不能保證找到全局最優(yōu) 基于 劃 分的聚 類 方法 ? 給定一個數據集，基于劃分的方法將數據集劃分為 k個子集，每個子集對應一個聚類 ? 兩種方案 ? 每個聚類由其所包含的樣本的 均值 來表示 ? 每個聚類由 靠近該聚類中心的樣本（中心點） 來表示 ? 典型算法 ? k均值 （ kmeans） ? kmedoids kmeans算法 ? 每個聚類由其所包含的樣本的均值來表示 ? 步驟 1：隨機選擇 k個樣本作為 k個聚類的中心 ? 步驟 2：對剩余的每一個樣本，將其劃分入中心距離該樣本最近的聚類 ? 步驟 3：計算每個聚類的均值作為新的中心 ? 步驟 4：如果聚類中心沒有任何改變，算法停止，否則 回到步驟 2 kmeans算法 kmedoids算法 ? 每個聚類由靠近該聚類中心的樣本來表示 ? 步驟 1：隨機選擇 k個樣本作為 k個聚類的中心 ? 步驟 2：對剩余的每一個樣本，將其劃分入中心距離該樣本最近的聚類 ? 步驟 3：計算每個聚類的 medoid（即距離均值最近的樣 本） ? 步驟 4：如果聚類的 medoid沒有任何改變，算法停止， 否則回到步驟 2 kmedoids算法 小結 ? 特征類型 ? 數值數據 （ numerical data） 基于度量的模式分類方法 ? 標稱數據 （ nominal data） 非度量方法 ? 決策樹 ? 根節(jié)點 （ root） ? 分支 （ branch） ? 葉節(jié)點 （ leaf） 小結 ? 構造決策樹 ? 分支數目 ? 測試的選取 ? 信息增益 ? 信息增益率 ? Gini不純度 ? 剪枝 ? 預剪枝 ? 后剪枝 小結 ? 根據訓練樣本是否有類別標記，學習算法分為 ? 有監(jiān)督 （ supervised）學習 ? 無監(jiān)督 （ unsupervised）學習 ? 聚類 （ clustering） ? 聚類是指將物理的或抽象的對象自然分組，使得每組由相似的對象構成一類的過程 小結 ? 聚類算法 ? 迭代最優(yōu)化聚類算法 ? 基于劃分的聚類方法 ? k均值 （ kmeans） ? kmedoids
教學課件相關推薦
鄂ICP備17016276號-1