數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7-文庫吧在線文庫
【正文】 差。取無風(fēng)時全為 P類，該分枝標(biāo)記 P。 ? 主算法中每迭代循環(huán)一次，生成的決策樹將會不相同。 ?現(xiàn)用來判一個具體例子， 某天早晨氣候描述為 : 天氣 ：多云 氣溫 ：冷 濕度 ：正常 風(fēng) ：無風(fēng) 它屬于哪類氣候呢 ? ?從圖中可判別該實體的類別為 P類。 一、 ID3基本思想 例如：關(guān)于氣候的類型，特征為 : 天氣 取值為： 晴，多云，雨 氣溫 取值為： 冷 ，適中，熱 濕度 取值為： 高 ，正常 風(fēng) 取值為： 有風(fēng)， 無風(fēng) ? 每個實體在世界中屬于不同的類別，為簡單起見，假定僅有兩個類別，分別為 P， N。樹的中間結(jié)點是該結(jié)點為根的子樹所包含的樣本子集中信息量最大的屬性。 說明接收到符號集 V的所有符號后 ， 關(guān)于輸入符號 U的平均不確定性減少了 。 （ 2） 如果 n種可能的發(fā)生都有相同的概率 ， 即所有的 Ui有 P（ Ui） =1/n， H（ U） 達(dá)到最大值 log n，系統(tǒng)的不確定性最大 。 （ 2） 消息（符號） Ui（ i=1， 2， ...， q）的發(fā)生概率 P（ Ui）組成信源數(shù)學(xué)模型（樣本空間或概率空間） （ ） ＝ [ ] （ 3） 自信息 :消息 Ui發(fā)出后所含有的信息量 。 ? 如果后驗不確定性等于零，這就表示信宿收到了全部信息。而且這種不確定性是存在于通信之前的。 ?這種情形就稱為信宿對于信源狀態(tài)具有不確定性。 ?后驗不確定性總要小于先驗不確定性 : H（ U/V） H（ U） ? 如果后驗不確定性的大小正好等于先驗不確定性的大小，這就表示信宿根本沒有收到信息。 2． Ui類出現(xiàn)概率為 : P（ Ui） =｜ Ui｜ /｜ S｜ 3． Ui類中在特征 Ak處取值 Vj的例子集合 Vij的條件概率為 : P（ Vj｜ Ui） =｜ Vij｜ /｜ Ui｜ 4． 在特征 Ak處 ， 取 Vj值的例子集合的概率為 : P（ Vj） =｜ Vj｜ /｜ S｜ 5． 在特征 Ak處取 Vj值的例子，屬于 Ui類的例子集合Uij的條件概率為 : P（ Ui｜ Vj） =｜ Uij｜ /｜ Vj｜ 6． 信息熵 （ 1） 消息傳遞系統(tǒng)由消息的發(fā)送端 （ 信源 ） 和接收端 （ 信宿 ） 以及連接兩者的通道 （ 信道 ） 三者組成 。 H（ U） 的性質(zhì) : （ 1） H（ U） =0時 ， 說明只存在著唯一的可能性 ，不存在不確定性 。 從上面分析可知：條件熵小于無條件熵 ， 即 H（ U|V） H（ U） 。 ? 決策樹的根結(jié)點是所有樣本中信息量最大的屬性。 ? ，他將其稱為信息增益（ information gain），作為特征判別能力的度量，并且將建樹的方法嵌在一個迭代的外殼之中。 ? 若要對一實體分類，從樹根開始進(jìn)行測試，按特征的取值分枝向下進(jìn)入下層結(jié)點，對該結(jié)點進(jìn)行測試，過程一直進(jìn)行到葉結(jié)點，實體被判為屬于該葉結(jié)點所標(biāo)記的類別。 PE‘， PE’‘和 NE’， NE‘’分別表示正例集和反例集的子集。再向下分枝，風(fēng)取有風(fēng)時全為 N類，該分枝標(biāo)記 N。 NO. 屬性 類別 天氣 氣溫 濕度 風(fēng) 1 晴 熱 高 無風(fēng) N 2 晴 熱 高 有風(fēng) N 3 多云 熱 高 無風(fēng) P 4 雨 適中 高 無風(fēng) P 5 雨 冷 正常 無風(fēng) P 6 雨 冷 正常 有風(fēng) N 7 多云 冷 正常 有風(fēng) P 8 晴 適中 高 無風(fēng) N 9 晴 冷 正常 無風(fēng) P 10 雨 適中 正常 無風(fēng) P 11 晴 適中 正常 有風(fēng) P 12 多云 適中 高 有風(fēng) P 13 多云 熱 正常 無風(fēng) P 14 雨 適中 高 有風(fēng) N （ 2） 用互信息作為特征選擇量存在一個假設(shè)，即訓(xùn)練例子集中的正，反例的比例應(yīng)與實際問題領(lǐng)域里正、反例比例相同。在建樹過程中，各特征的互信息會隨例子的增加而改變，從而使決策樹也變化。 ?比如有兩個跑步的人 ， 一個起點是 10m/s的人 、 其 10s后為20m/s；另一個人起速是 1m/s、 其 1s后為 2m/s。 ?對于連續(xù)屬性先進(jìn)行排序，只有在決策屬性發(fā)生改變的地方才需要切開。結(jié)點有一
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1