【正文】 新一天的天氣情況，能否打網(wǎng)球？ ? 目的： ? 給出新一天的氣候：看看是否打網(wǎng)球？ ? 貝葉斯模型利用概率的方式計(jì)算 : 就是在天氣（晴） =YES , 氣溫（涼爽）=YES , 濕度（高） =YES ,有風(fēng) =YES的條件下： 打網(wǎng)球是否為 YES? 2022/2/3 40 天氣 氣溫 濕度 有風(fēng) 晴 涼爽 高 是 計(jì)算過程 轉(zhuǎn)換 14天打網(wǎng)球情況為概率表 ? 14天不同天氣情況下打網(wǎng)球的情況 2022/2/3 41 天氣 溫度 濕度 有風(fēng) 打網(wǎng)球 yes No yes No yes no yes no yes No 晴 2 3 熱 2 2 高 3 4 否 6 2 9 5 多云 4 0 溫暖 4 2 正常 6 1 是 3 3 雨 3 2 涼爽 3 1 天氣 溫度 濕度 有風(fēng) 打網(wǎng)球 yes No yes No yes no yes no yes No 晴 2/9 3/5 熱 2/9 2/5 高 3/9 4/5 否 6/9 2/5 9/14 5/14 多云 4/9 0 溫暖 4/9 2/5 正常 6/9 1/5 是 3/9 3/5 雨 3/9 2/5 涼爽 3/9 1/5 天氣 溫度 濕度 有風(fēng) 打網(wǎng)球 yes No yes No yes no yes no yes No 晴 2/9 3/5 熱 2/9 2/5 高 3/9 4/5 否 6/9 2/5 9/14 5/14 多云 4/9 0 溫暖 4/9 2/5 正常 6/9 1/5 是 3/9 3/5 雨 3/9 2/5 涼爽 3/9 1/5 ? YES的概率（紅色） =2/9*3/9*3/9*3/9*9/14= ? NO的概率（綠色） =3/5*1/5*4/5*3/5*5/14= YES+NO=1,經(jīng)過歸一化處理 YES=%， NO=% 2022/2/3 42 貝葉斯模型特點(diǎn) ? 所有條件變量對(duì)于分類均是有用的 ? 先驗(yàn)知識(shí)的正確和豐富和后驗(yàn)知識(shí)的豐富和正確，能直接影響分類的準(zhǔn)確性 在中醫(yī)藥醫(yī)學(xué)中范例 應(yīng)用于專家系統(tǒng)診斷。 根據(jù)癥狀，推斷出診斷。 2022/2/3 43 決策樹 ? 決策樹 (decision tree) 每個(gè)決策或事件都可能引出兩個(gè)或多個(gè)事件，導(dǎo)致不同的結(jié)果，把這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹 ? 例：根據(jù)表格情況形成分類樹 2022/2/3 44 性別 年齡 血壓 藥物 1 男 20 正常 A 2 女 73 正常 B 3 男 37 高 A 4 男 33 低 B 5 女 48 高 A …… 藥物 B 血壓 年齡 藥物 A 藥物 B 藥物 A 高 正常 低 ≤ 40 40 如何解讀決策樹信息 ? 如果血壓高，則采用藥物 A ? 如果血壓低，則采用藥物 B ? 如果血壓正常并且年齡小于等于 40，則采用藥物 A，否則采用藥物B. 2022/2/3 45 藥物 B 血壓 年齡 藥物 A 藥物 B 藥物 A 高 正常 低 ≤ 40 40 產(chǎn)生疑問如何計(jì)算 ? 節(jié)點(diǎn)如何劃分？ 為什么先血壓，后年齡？ ? 分裂變量的界限 為什么以 40歲為界限？ 2022/2/3 46 藥物 B 血壓 年齡 藥物 A 藥物 B 藥物 A 高 正常 低 ≤ 40 40 介紹其中一個(gè) ID3算法計(jì)算決策樹 ? 14天打網(wǎng)球情況。 ? 14天不同天氣情況下打網(wǎng)球的情況 ? 分類目的：根據(jù)新的一天天氣，決定是否打網(wǎng)球 2022/2/3 47 天氣 溫度 濕度 有風(fēng) yes No yes No yes no yes no 晴 2 3 熱 2 2 高 3 4 否 6 2 多云 4 0 溫暖 4 2 正常 6 1 是 3 3 雨 3 2 涼爽 3 1 打網(wǎng)球 YES NO 9 5 14天具體打網(wǎng)球情況： 序號(hào) 天氣 氣溫 濕度 有風(fēng) 打網(wǎng)球 1 晴 熱 高 無 NO 2 晴 熱 高 有 NO 3 多云 熱 高 無 YES 4 雨 溫暖 高 無 YES 5 雨 涼爽 正常 無 YES 6 雨 涼爽 正常 有 NO 7 多云 涼爽 正常 有 YES 8 晴 溫暖 高 無 NO 9 晴 涼爽 正常 無 YES 10 雨 溫暖 正常 無 YES 11 晴 溫暖 正常 有 YES 12 多云 溫暖 高 有 YES 13 多云 熱 正常 無 YES 14 雨 溫暖 高 有 NO 48 每一個(gè)因素形成一個(gè)決策樹分支 天氣 yes No 晴 2 3 多云 4 0 雨 3 2 2022/2/3 49 基于天氣劃分決策樹 天氣 1： NO 2： NO 8： NO 9： YES 11： YES 3： YES 7： YES 12:YES 13:YES 4： YES 5： YES 6： NO 10： YES 14： NO 晴 多云 雨 其他因素也形成了一個(gè)樹的分支 2022/2/3 50 氣溫 1： NO 2： NO 8： YES 13： YES 4： YES 8： NO 10： YES 11： YES 12： YES 14： NO 5： YES 6： NO 7： YES 9： YES 熱 溫暖 涼爽 有風(fēng) 1： YES 3： NO 4： YES 5： YES 8： YES 9： NO 10： YES 13： YES 2： NO 6： NO 7： YES 11： YES 12YES 14： NO false true 濕度 1： NO 2： NO 3： YES 4： YES 8： NO 12： YES 14： NO 5： YES 6： NO 7： YES 10： YES 11： YES 13： YES 高 正常 如何把多個(gè)因素合并成一個(gè)大的決策樹？ ? 天氣、氣溫、濕度、有風(fēng)這四個(gè)因素誰為起點(diǎn)分支？在何處分支？在何處停止？ ? 越確定的在分支，越不確定的 在主干。否則到了樹的支端無法做決定。 ? 但如何計(jì)算它們的確定性和不確定性？ 2022/2/3 51 藥物 B 血壓 年齡 藥物 A 藥物 B 藥物 A 高 正常 低 ≤ 40 40 如何把小的分支合并成一棵大的決策樹？ ? 首先介紹一下信息的一個(gè)計(jì)算方法： ? 信息熵的定義：無序性度量。（不確定性） 對(duì)值的無序的情況做一個(gè)量化的測(cè)量 。 例：信息熵 =0 信息熵 =0 信息熵最大 當(dāng)都是 yes或都是 NO時(shí)無序性很差， 不確定性 很弱，信息熵最小 0 當(dāng) yes和 no一樣多時(shí)無序性很強(qiáng)，不確定性很強(qiáng)，信息熵最大 2022/2/3 52 1： NO 2： NO 8： NO 13： NO 1： YES 2： YES 8： YES 13： YES 1： NO 2： NO 8： YES 13： YES 利用熵的計(jì)算方法計(jì)算決策樹 ? 越到樹的主干，不確定性越大，熵越大， ? 越到樹的分支，確定性越大，熵越小 以便決定 YES 或 NO 2022/2/3 53 熵大 熵小 確定性越大 不確定性越大 Yes和 no越平均 Yes和 no越一致 信息熵的計(jì)算公式 ? Info[C1， C2]=ENTROPY(P1， P2) =P1*LOG2P1— P2*LOG2P2 C1,C2代表發(fā)生事件的不同數(shù)量 P1=C1/(C1+C2) 發(fā)生事件的不同概率 以 YES與 NO為例解釋： C1，代表發(fā)生 yes的次數(shù)， P1，代表發(fā)生 YES的概率 C2，代表發(fā)生 NO的次數(shù)， P2，代表發(fā)生 NO的概率 2022/2/3 54 函數(shù)名稱，就像 SUM一樣。 Info[C1， C2]=ENTROPY(P1， P2) =P1*LOG2P1— P2*LOG2P2 C1，代表發(fā)生 yes的次數(shù)， P1，代表發(fā)生 YES的概率 C2，代表發(fā)生 NO的次數(shù)， P2，代表發(fā)生 NO的概率 例如：在一個(gè)節(jié)點(diǎn)上 yes是 2， no是 3 P1=2/5 P2=3/5 Info（ [2,3])=2/5*LOG2(2/5)3/5*LOG2(3/5) =()*()+()*() = 2022/2/3 55 天氣 1： NO 2： NO 8： NO 9： YES 11： YES 晴 比特，又叫 Bit，是計(jì)量單位 以天氣為例進(jìn)行信息熵計(jì)算 天氣 yes No 晴 2 3 多云 4 0 雨 3 2 合計(jì) 9 5 2022/2/3 56 Info（晴） =Info（ [2,3]） = Info(多云 )= Info（ [4,0]） = Info(雨 )=Info（ [3,2]） = 還是不能確定誰是主干： 觀點(diǎn)就是天氣、氣溫、濕度、有風(fēng)，誰建立了分支之后，信息的不確定性消除得越多，就當(dāng)做主干。 也就是看看以誰當(dāng)主干，很快就達(dá)到了分支，很快信息就變得確定了。 計(jì)算天氣下面建立分支后不確定性 ? Gain(天氣 )= info（天氣合計(jì)） info（晴，多云，雨） =info（ [9,5]） info([2,3],[4,0],[3,2]) = info（ [9,5]） （ info([2,3]+ info([4,0]+ info([3,2]） = 2022/2/3 57 天氣 yes No 晴 2 3 多云 4 0 雨 3 2 合計(jì) 9 5 不確定性消除的值有一個(gè)名詞表示：信息增益 gain 平均信息值 同理計(jì)算出其他三個(gè)因素下面建立分支后，信息不確定性消除了多少 ? Gain(天氣 )= ? Gain(氣溫 )= ? Gain(濕度 )= ? Gain(有風(fēng) )= 2022/2/3 58 選擇不確定性消除最大的作為第一級(jí)主分支 天氣已經(jīng)作為第一個(gè)主干了，那么下面該接著誰作為下一級(jí)主干？ 天氣 晴 多云 雨 2022/2/3 59 1： NO 2： NO 8： NO 9： YES 11： YES 3： YES 7： YES 12:YES 13:YES 4： YES 5： YES 6： NO 10： YES 14： NO 氣溫？濕度？有風(fēng)？ 直接做決定 需要參考其他因素 需要參考其他因素 14天具體打網(wǎng)球情況： 序號(hào) 天氣 氣溫 濕度 有風(fēng) 打網(wǎng)球 1 晴 熱 高 無 NO 2 晴 熱 高 有 NO 3 多云 熱 高 無 YES 4 雨 溫暖 高 無 YES 5 雨 涼爽 正常 無 YES