2機(jī)器學(xué)習(xí)-決策樹(shù)學(xué)習(xí)-展示頁(yè)
2025-01-26 23:50本頁(yè)面
【正文】 成線性關(guān)系2023年 6月 2日決策樹(shù)研究的歷史? 1960’s： Hunt的完全搜索決策樹(shù)方法（ CLS）對(duì)概念學(xué)習(xí)建模? 1970后期： Quinlan發(fā)明用信息增益作為啟發(fā)策略的ID3方法，從樣本中學(xué)習(xí)構(gòu)造專(zhuān)家系統(tǒng)? 同時(shí)， Breiman和 Friedman開(kāi)發(fā)的 CART（分類(lèi)與回歸樹(shù)）方法類(lèi)似于 ID3? 1980’s：對(duì)噪聲、連續(xù)屬性、數(shù)據(jù)缺失、改善分割條件等進(jìn)行研究? 1993： Quinlan的改進(jìn)決策樹(shù)歸納包（ ），目前被普遍采用2023年 6月 2日過(guò)度擬合和修剪? 通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)來(lái)構(gòu)造分類(lèi)樹(shù)，可能無(wú)法達(dá)到最好的泛化性能，因?yàn)楱C 噪聲數(shù)據(jù)的影響– 某些決策僅基于少量數(shù)據(jù)，與客觀事實(shí)不符合? 一個(gè)假設(shè) H被稱(chēng)為對(duì)于訓(xùn)練數(shù)據(jù)是過(guò)度擬合的，指的是如果存在另一個(gè)假設(shè) H’， 在訓(xùn)練集上 H的誤差比 H‘小，但在測(cè)試集上 H’的誤差比 H小2023年 6月 2日過(guò)度擬合與噪聲? 分類(lèi)或?qū)傩栽肼暥紩?huì)導(dǎo)致過(guò)度擬合增加噪聲實(shí)例 medium, green, circle, +（實(shí)際為 ）? 噪聲也會(huì)直接導(dǎo)致樣本的沖突 (相同描述，不同分類(lèi) )。它可以保證找到符合任何無(wú)噪聲數(shù)據(jù)集的樹(shù)，但未必是最小的? 批量學(xué)習(xí)。? 輸出可以是離散的分類(lèi)，也可以是實(shí)數(shù)（回歸樹(shù)）。 red ^ triangle C2023年 6月 2日決策樹(shù)學(xué)習(xí)? 實(shí)例用 (屬性 值 )對(duì)表示。? 可表示任意析取和合取范式，從而表示任意離散函數(shù)和離散特征? 可將實(shí)例分到多個(gè)分類(lèi) (?2)? 可以重寫(xiě)為規(guī)則，用析取范式（ DNF） 形式red ^ circle positivered ^ circle Ablue B。決策樹(shù)學(xué)習(xí)編寫(xiě)：張磊決策樹(shù)? 決策樹(shù)是實(shí)例（表示為特征向量）的分類(lèi)器。結(jié)點(diǎn)測(cè)試特征，邊表示特征的每個(gè)值，葉結(jié)點(diǎn)對(duì)應(yīng)分類(lèi)。 red ^ square Bgreen C。離散值處理簡(jiǎn)單，連續(xù)值可以劃分區(qū)間。? 能有效處理大量數(shù)據(jù)? 可處理噪聲數(shù)據(jù)（分類(lèi)噪聲，屬性噪聲）? 屬性值缺失，亦可處理2023年 6月 2日基本決策樹(shù)算法? 訓(xùn)練數(shù)據(jù)批處理，自頂向下遞歸構(gòu)造決策樹(shù)? DTree(example
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1