【正文】 S2)) = (3) 計(jì)算O(H1| S1,S2)和P(H1| S1,S2) 先將H1的先驗(yàn)概率轉(zhuǎn)換為先驗(yàn)幾率O(H1) = P(H1) / (1 P(H1)) = ()= 再根據(jù)合成公式計(jì)算H1的后驗(yàn)幾率 O(H1| S1,S2)= (O(H1| S1) / O(H1)) (O(H1| S2) / O(H1)) O(H1) = ( / ) () / ) = 再將該后驗(yàn)幾率轉(zhuǎn)換為后驗(yàn)概率P(H1| S1,S2) = O(H1| S1,S2) / (1+ O(H1| S1,S2)) = (4) 由r3計(jì)算O(H2| S3) 先把H2的先驗(yàn)概率更新為在E3下的后驗(yàn)概率P(H2| E3) P(H2| E3)=(LS3 P(H2)) / ((LS31) P(H2)+1) =(200 ) / ((200 1) +1) = 由于P(E3|S3)= P(E3)，使用P(H | S)公式的前半部分，得到在當(dāng)前觀察S3下的后驗(yàn)概率P(H2| S3)和后驗(yàn)幾率O(H2| S3) P(H2| S3) = P(H2 | 172。 E3) + (P(H2) – P(H2| 172。E3)) / P(E3)) P(E3| S3) 由當(dāng)E3肯定不存在時(shí)有 P(H2 | 172。 E3) = LN3 P(H2) / ((LN31) P(H2) +1) = / (( 1) + 1) = 因此有P(H2| S3) = P(H2 | 172。 E3) + (P(H2) – P(H2| 172。E3)) / P(E3)) P(E3| S3) =+(() / ) =O(H2| S3) = P(H2| S3) / (1 P(H2| S3)) =(5) 由r4計(jì)算O(H2| H1) 先把H2的先驗(yàn)概率更新為在H1下的后驗(yàn)概率P(H2| H1) P(H2| H1)=(LS4 P(H2)) / ((LS41) P(H2)+1) =(50 ) / ((50 1) +1) = 由于P(H1| S1,S2)= P(H1)，使用P(H | S)公式的后半部分，得到在當(dāng)前觀察S1,S2下H2的后驗(yàn)概率P(H2| S1,S2)和后驗(yàn)幾率O(H2| S1,S2) P(H2| S1,S2) = P(H2) + ((P(H2| H1) – P(H2)) / (1 P(H1))) (P(H1| S1,S2) – P(H1)) = + ( –) / (1 – )) ( – ) = O(H2| S1,S2) = P(H2| S1, S2) / (1 P(H2| S1, S2)) =(1 ) = (6) 計(jì)算O(H2| S1,S2,S3)和P(H2| S1,S2,S3) 先將H2的先驗(yàn)概率轉(zhuǎn)換為先驗(yàn)幾率O(H2) = P(H2) / (1 P(H2) )= / ()= 再根據(jù)合成公式計(jì)算H1的后驗(yàn)幾率 O(H2| S1,S2,S3)= (O(H2| S1,S2) / O(H2)) (O(H2| S3) / O(H2)) O(H2) = ( / ) () / ) = 再將該后驗(yàn)幾率轉(zhuǎn)換為后驗(yàn)概率P(H2| S1,S2,S3) = O(H1| S1,S2,S3) / (1+ O(H1| S1,S2,S3)) = / (1+ ) = 可見(jiàn)，，它相當(dāng)于先驗(yàn)概率的6倍多。 r1: IF E1 THEN (100, ) H1 r2: IF E2 THEN (50, ) H2 r3: IF E3 THEN (5, ) H3且已知P(H1)=, P(H2)=, P(H3)=，請(qǐng)計(jì)算當(dāng)證據(jù)E1，E2，E3存在或不存在時(shí)P(Hi | Ei)或P(Hi |﹁Ei)的值各是多少(i=1, 2, 3)？ 解：(1) 當(dāng)EEE3肯定存在時(shí)，根據(jù)rrr3有P(H1 | E1) = (LS1 P(H1)) / ((LS11) P(H1)+1) = (100 ) / ((100 1) +1) =P(H2 | E2) = (LS2 P(H2)) / ((LS21) P(H2)+1) = (50 ) / ((50 1) +1) =P(H3 | E3) = (LS3 P(H3)) / ((LS31) P(H3)+1) = (5 ) / ((5 1) +1) = (2) 當(dāng)EEE3肯定存在時(shí)，根據(jù)rrr3有P(H1 | 172。E1) = (LN1 P(H1)) / ((LN11) P(H1)+1) = ( ) / (( 1) +1) =P(H2 | 172。E2) = (LN2 P(H2)) / ((LN21) P(H2)+1) = ( ) / (( 1) +1) =P(H3 | 172。E3) = (LN3 P(H3)) / ((LN31) P(H3)+1) = ( ) / (( 1) +1) = 設(shè)有如下一組推理規(guī)則: r1: IF E1 AND E2 THEN A={a} (CF={}) r2: IF E2 AND (E3 OR E4) THEN B={b1, b2} (CF={, }) r3: IF A THEN H={h1, h2, h3} (CF={, , }) r4: IF B THEN H={h1, h2, h3} (CF={, , })且已知初始證據(jù)的確定性分別為：CER(E1)=, CER(E2)=, CER(E3)=, CER(E4)=。假設(shè)|Ω|=10，求CER(H)。 解： 具體過(guò)程略 設(shè)U=V={1，2，3，4}且有如下推理規(guī)則： IF x is 少 THEN y is 多其中，“少”與“多”分別是U與V上的模糊集，設(shè) 少=++ 多=++已知事實(shí)為 x is 較少“較少”的模糊集為 較少=++請(qǐng)用模糊關(guān)系Rm求出模糊結(jié)論。 解：先用模糊關(guān)系Rm求出規(guī)則 IF x is 少 THEN y is 多所包含的模糊關(guān)系Rm Rm (1,1)=(∧0)∨()= Rm (1,2)=(∧)∨()= Rm (1,3)=(∧)∨()= Rm (1,4)=(∧)∨()= Rm (2,1)=(∧0)∨()= Rm (2,2)=(∧)∨()= Rm (2,3)=(∧)∨()= Rm (2,4)=(∧)∨()= Rm (3,1)=(∧0)∨()= Rm (3,2)=(∧)∨()= Rm (3,3)=(∧)∨()= Rm (3,4)=(∧)∨()= Rm (4,1)=(0∧0)∨(10)=1 Rm (4,2)=(0∧)∨(10)=1 Rm (4,3)=(0∧)∨(10)=1 Rm (3,4)=(0∧)∨(10)=1即：因此有即，模糊結(jié)論為 Y’={, , , } 設(shè) U=V=W={1,2,3,4}且設(shè)有如下規(guī)則： r1：IF x is F THEN y is G r2：IF y is G THEN z is H r3：IF x is F THEN z is H其中，F(xiàn)、G、H的模糊集分別為： F=1/1+++ G=++ H=++請(qǐng)分別對(duì)各種模糊關(guān)系驗(yàn)證滿足模糊三段論的情況。解：本題的解題思路是：由模糊集F和G求出r1所表示的模糊關(guān)系R1m, R1c, R1g再由模糊集G和H求出r2所表示的模糊關(guān)系R2m, R2c, R2g再由模糊集F和H求出r3所表示的模糊關(guān)系R3m, R3c, R3g 然后再將R1m, R1c, R1g分別與R2m, R2c, R2g合成得R12 m, R12c, R12g 最后將R12 m, R12c, R12g分別與R3m, R3c, R3g比較第7章 機(jī)器學(xué)習(xí)參考答案76 設(shè)訓(xùn)練例子集如下表所示：序號(hào)屬性分類x1x21TT+2TT+3TF4FF+5FT_6FT_請(qǐng)用ID3算法完成其學(xué)習(xí)過(guò)程。解：設(shè)根節(jié)點(diǎn)為S，盡管它包含了所有的訓(xùn)練例子，但卻沒(méi)有包含任何分類信息，因此具有最大的信息熵。即：H(S)= (P(+)log2 P(+) + P()log2 P())式中P(+)=3/6，P()=3/6分別是決策方案為“+”或“”時(shí)的概率。因此有H(S)= ((3/6)log2(3/6) + (3/6)log2(3/6)) =1按照ID3算法，需要選擇一個(gè)能使S的期望熵為最小的一個(gè)屬性對(duì)根節(jié)點(diǎn)進(jìn)行擴(kuò)展，因此我們需要先計(jì)算S關(guān)于每個(gè)屬性的條件熵：H(S|xi)= ( |ST| / |S|)* H(ST) + ( |SF| / |S|)* H(SF)其中，T和F為屬性xi的屬性值，ST和SF分別為xi=T或xi=F時(shí)的例子集，|S|、| ST|和|SF|分別為例子集S、ST和SF 的大小。下面先計(jì)算S關(guān)于屬性x1的條件熵：在本題中，當(dāng)x1=T時(shí)，有： ST={1，2，3}當(dāng)x1=F時(shí)，有： SF={4，5，6}其中，ST 和SF中的數(shù)字均為例子集S中的各個(gè)例子的序號(hào)，且有|S|=6，| ST |=| SF |=3。由ST可知，其決策方案為“+”或“”的概率分別是：　　　　PST(+)=2/3PST ()=1/3因此有：H(ST)= (PST (+)log2 PST (+) + PST ()log2 PST ( ))= ((2/3)log2(2/3) + (1/3)log2(1/3)) =再由SF可知，其決策方案為“+”或“”的概率分別是：　　　　PSF (+)=1/3PSF ()=2/3則有：H (SF)= (PSF (+)log2 PSF (+) + PSF ()log2 PSF ( ))= ((1/3)log2(1/3)+ (2/3)log2(2/3)) =將H(ST)和H (SF)代入條件熵公式，有：H(S|x1)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(3/6)﹡ + (3/6)﹡=下面再計(jì)算S關(guān)于屬性x2的條件熵：在本題中，當(dāng)x2=T時(shí)，有： ST={1，2，5，6}當(dāng)x2=F時(shí)，有： SF={3，4}其中，ST 和SF中的數(shù)字均為例子集S中的各個(gè)例子的序號(hào)，且有|S|=6，| ST |=4，| SF |=2。由ST可知：　　　　PST (+) = 2/4P ST () = 2/4則有：H(ST)= (P ST (+)log2 P ST (+) + P ST ()log2 P ST ( ))= ((2/4)log2(2/4) + (2/4)log2(2/4)) =1再由SF可知：　　　　P SF (+)=1/2P SF ()=1/2則有：H(SF)= (P(+)log2 P(+) + P()log2 P( ))= ((1/2)log2(1/2)+ (1/2)log2(1/2)) =1將H(ST)和H (SF)代入條件熵公式，有：H(S|x2)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(4/6)﹡1 + (2/6)﹡1=1可見(jiàn)，應(yīng)該選擇屬性x1對(duì)根節(jié)點(diǎn)進(jìn)行擴(kuò)展。用x1對(duì)S擴(kuò)展后所得到的部分決策樹(shù)如下圖所示。S(+,+,)(+,,)x1=Tx1=F擴(kuò)展x1后的部分決策樹(shù) 在該決策樹(shù)中，其2個(gè)葉節(jié)點(diǎn)均不是最終決策方案，因此還需要繼續(xù)擴(kuò)展。而要