決策樹1(編輯修改稿)
2025-01-31 19:46 本頁面
【文章內容簡介】 P)是 P的連續(xù)函數 (0≤P≤1)； ②對稱性： H(P1， … ， Pn)與 P1， … ， Pn的排列次序無關； ③可加性：若 Pn＝ Q1+Q2＞ 0，且 Q1， Q2≥0，則有H(P1， … ， Pn1， Q1， Q2)＝ H(P1， … ， Pn1)+PnH；則一定有下列唯一表達形式： H(P1， … ， Pn)＝ CP(i)logP(i) 其中 C為正整數，一般取 C＝ 1，它是信息熵的最基本表達式。 ? 信息熵除了上述三條基本性質外，還具有一系列重要性質，其中最主要的有： ①非負性： H(P1， … ， Pn)≥0； ②確定性： H(1， 0)＝ H(0， 1)＝ H(0， 1， 0， …) ＝ 0； ③擴張性： Hn1(P1， … ， Pnε， ε)＝ Hn(P1， … ， Pn)； ④極值性： P(xi)logP(xi)≤P(xi)logQ(xi)；這里 Q(xi)＝ 1； ⑤上凸性： H[λP +(1λ)Q]＞ λH(P)+(1λ)H(Q)，式中 0＜ λ＜ 1。 屬性選擇 ? 熵 (entropy)：給定有關某概念的正例和負例的集合 S。對此 BOOLEAN分類的熵為： Entropy(S)= pos log2(pos) – neg log2(neg) “ pos”和” neg”分別表示 S中正例和負例的比例。并定義： 0log2(0)=0 ? 如果分類器有 c個不同的輸出，則： Entropy(S)= ?ci=1pi log2(pi) pi表示 S中屬于類 i的比例 ?例 1： p1 = p2 = 1/2 H1 = (1/2)*log2(1/2) (1/2)*log2(1/2) = 1 ?例 2： p1 = 1/4 p2 = 3/4 H2 = (1/4)* log2(1/4) (3/4)*log2(3/4)= ?例 3： p1 = 1 p2 = 0 H3 = 1 * log21 = 0 屬性選擇 ? 構造好的決策樹的關鍵在于如何選擇好的屬性。對于同樣一組例子，可以有很多決策樹能符合這組例子。人們研究出，一般情況下或具有較大概率地說，樹越小則樹的預測能力越強。要構造盡可能小的決策樹，關鍵在于選擇恰當的屬性。由于構造最小的樹是 NP難問題，因此只能采取用啟發(fā)式策略選擇好的屬性 。 ? ID3算法的本質： 就是構造一棵熵值下降平均最快的決策樹 。 最佳分類屬性 ? 用 信息增益 度量期望的熵降低 ? 屬性的信息增益，由于使用這個屬性分割樣例而導致的期望熵降低 ? Gain(S,A)是在知道屬性 A的值后可以節(jié)省的二進制位數 ????)()(||)(),(AValu esvvv SEntr opy
環(huán)評公示相關推薦
鄂ICP備17016276號-1