決策樹(shù)信息論c45算法-文庫(kù)吧
2025-01-04 19:41 本頁(yè)面
【正文】 ) = P ( ) l og P ( ) P ( ) l og P ( ) = l og l og =0 .067( ) = P ( ) l og P ( ) P ( ) l og P ( ) = l og l og =1HH中 習(xí) 習(xí) 薄 薄美 奧 奧 羅 羅? 熵 H(X)—— 自信息量 ? 科學(xué)發(fā)展觀指導(dǎo)下的和諧社會(huì)，失序現(xiàn)象和復(fù)雜程度遠(yuǎn)低于萬(wàn)惡的資本主義社會(huì)！ ? 事件的可能結(jié)果發(fā)生幾率越相近，則熵越大 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗(yàn)概率 ? 信息量 ? 先驗(yàn)熵 ? 后驗(yàn)概率 jP ( x )i y 信息論基礎(chǔ) jjP ( x )xiiy 后 驗(yàn) 概 率在 y 的 輔 助 條 件 下 猜 測(cè) 事 件 結(jié) 果 為 的 可 能? 對(duì)事件 X的某一結(jié)果進(jìn)行討論： 例：已知民意調(diào)查結(jié)果，猜奧 /羅誰(shuí)贏的概率 P（ x1=奧 |y1=奧領(lǐng)先） P（ x2=羅 |y1=奧領(lǐng)先） 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗(yàn)概率 ? 信息量 ? 先驗(yàn)熵 ? 后驗(yàn)概率 ? 后驗(yàn)熵 jP ( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y? 信息論基礎(chǔ) ? 熵 H(X) 原意：熱力學(xué)中形容失序現(xiàn)象和復(fù)雜程度 現(xiàn)意：一個(gè)事件 X的平均信息量 ? 熵越大，不確定性就越大，正確估計(jì)其值的可能性就越小。 ? XXX熵 ===XXX的信息量的加權(quán) 后驗(yàn)熵 =后驗(yàn)概率的信息量的加權(quán) 信息論基礎(chǔ) jjH ( X ) :Xyy后 驗(yàn) 熵 后 驗(yàn) 概 率 的 信 息 量 的 加 權(quán)在 得 知 的 輔 助 條 件 后事 件 的 平 均 信 息 量 （ 不 確 定 程 度 ）j j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?? 對(duì)事件 X的全部結(jié)果在某一輔助條件下進(jìn)行討論： 信息論基礎(chǔ) j j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?? 對(duì)事件 X的全部結(jié)果在某一輔助條件下進(jìn)行討論： 例：在民意調(diào)查的結(jié)果幫助下（ y1） 計(jì)算 2023年誰(shuí)是總統(tǒng)的不確定性 H(誰(shuí)當(dāng)選 |民調(diào)奧領(lǐng)先 )=？ 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗(yàn)概率 ? 信息量 ? 熵 =自信息量 ? 后驗(yàn)概率 ? 后驗(yàn)墑 ? 條件熵 jP ( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) H ( X )XYY條 件 熵 ：在 得 知 的 全 部 可 能 輔 助 條 件 后事 件 的 平 均 信 息 量 （ 不 確 定 程 度 ）? 對(duì)事件 X的全部結(jié)果在全部輔助條件下進(jìn)行討論： j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) ? 條件熵 即對(duì)后驗(yàn)墑的所有可能輔助條件 Yj累計(jì) jj2j=1H(X)=P(x)log()Niiiyy?j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗(yàn)概率 ? 信息量 ? 熵 =自信息量 ? 后驗(yàn)概率 ? 后驗(yàn)墑 ? 條件熵 jP ( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 信息量 ? 熵 =自信息量 ? 先驗(yàn)概率 ? 后驗(yàn)概率 ? 后驗(yàn)墑 ? 條件熵 ? 互信息量 j( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?？ ？ — — ID3j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) 對(duì)于條件墑 H(X|Y) ? 由于輔助條件 Y的存在 ? 由熵 —— 不確定程度 —— 事件 X的平均信息量 ? 所以一般情況下
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1