【正文】 ， 上式稱為 t對 MCCCC ...21 ??? 的剩余支持程度。 很明顯， )()( tifdiD 是 估計(jì)詞 t 支持的某個特定種類的信息量 ，每個類別自己所支持的信息量可以相互抵消，最后我們得到余下的信息量 )(tifdD ，它是類 C中各自支持程度的加權(quán)代數(shù)和。 7 圖 2 t 在各自類別中的信息量 為 確定詞 t最有可能屬于的類別，我們假設(shè) ? 是詞 t在所有支持的類別中含有的最多的信息量，也就是說，存在一些 cCi ?0 ，則 }C|)(m a x {a r g )(0 cti f dC iiDi ?? 注意 ? 的值可能不是很樂觀的，且接受 ? 的類別也不是唯一的，于是我們引入了下列的定義。 在下列敘述中，已知 t，我們把 )(tsscD 當(dāng)作是所有 t 的最強(qiáng)支持類的集合，同時對于一個已知的類別 iC ，我們把 *iV 當(dāng)作所有其他詞在 C 中最強(qiáng)支持 iC 的集合。 8 ), . . . , . . . ,:(s u p 101010 MiiiD HHHHHt ??? 對于 Mi ,...,2,1? ， 它有 0)()( ?tifd iD 。 注意已知詞的 ssc 的概念是在 C 上而非 V 上， 且在 )(tsscD 的所有類別都接收相 同的最強(qiáng)支持度 *? ，根據(jù)統(tǒng)計(jì)特性分類， 0*?? 跟詞之間很大的不同。我們以兩個簡單的例子 來定向，每個例子都是本研究的一個關(guān)鍵點(diǎn)。 K1： 一個 正數(shù) 的剩余支持度可能不會表明 iVt? 在 iC 中 就有更多的信息 而在其他類 C 中就沒有什么信息。但是 1Vt? 時，則)()( ???????tifd D ，則我們不能稱 t 更支持 1C 而非 2C ，并且很明顯得到 ):(s up 12 HHtD ? 和 *2Vt? 。 ） 例如，如果 )()1( ?tifdD 且 )()2( ??tifd D ， 則 )()( ????????tifd D ，很明顯 得到 ):(s up 21 HHtD ?和 *1Vt? 。 9 為回答在 ，并深入了解詞之間的關(guān)聯(lián)性和特性，我們需要深入引入一系列符號 —— 我們必須定義詞與已知主題間的直觀關(guān)聯(lián)性概念。設(shè) )(ti? 作為反映每個詞的重要性的加權(quán)函數(shù)，其中就 i? 而言， Vt? 。 進(jìn)一步研究，將 )1( Mjiji ???? ?? 作為對象的復(fù)合體（可以 看成是 ji ??和的聯(lián)合 ） ， 若一個文件要么屬于 i? 要么屬于 j? ，則它可表示為 ji ??? 。因而關(guān)聯(lián)性 的 測量應(yīng)該是一個由 )()( )()( tifdt iDii 和、 ??決定的復(fù)合函數(shù)；在先驗(yàn)概率 },...,{ 21 MP ???? ? 下， 剩余的關(guān)聯(lián)性測量應(yīng)該是個別 C 中 si)(? 的加權(quán)代數(shù)和，則我們下列形式定義得到一些聲明： 定義 設(shè) D是式（ 1）中給出的散度測量，對于已知 Vt? ， t和 i? 的關(guān)聯(lián)性由下式?jīng)Q定 ： ))(),((),( )()( tif dttrel iDiiiD ?? ?? ， (4) 則余下的 t與 M??? ??? ...21 的關(guān)聯(lián)性由下式?jīng)Q定： ),()...,(121 iDMi iMD tr e ltr e l ????? ????? ?? (5) ))(),(( )()(1 tifdtiDiiMi i ?? ??? ??， 其中鑒別測量 ), . . . ,2,1(),()( Mitifd iD ? 在式（ 2 ）中給出了，所有). . .,(), . . . ,2,1)(,( 21 MDiD tr e lMitr e l ???? ???? 和都成為關(guān)聯(lián)性測量。 正如前面所提到的，互相緊密聯(lián)系的詞通常有相同的 ssc，0iC，并對對象0i?提供更高的關(guān)聯(lián)值。 從上面兩個定義中，我們可以很清晰地得 出 “詞和對象的關(guān)聯(lián)性”和“詞之間的關(guān)聯(lián)性” 是兩個不同的概念。后者是詞之間的關(guān)系， 則支持度在*0iVt? 時僅僅看成是最強(qiáng)支持度 )()(0 tifdiD 。這樣的設(shè)置很容易推廣到任何有限數(shù)目的類別中，此外，為了完善我們的想法，在本研究中每個 Vt? 都是與兩個對立的猜測聯(lián)系（如 12 HH ? ,是 1H 的補(bǔ)充）。很明顯，在這種情況下 21 ??和 是互不相關(guān)的。 在定義 鑒別信息的一般形式 )()2,1)(()( tifditifd DiD 和? ，從信息理論和相應(yīng)的正式表達(dá)得出三種散度測量，從而有了一系列的鑒別測量，接下來，都將設(shè) 00 21 ?? ?? 或 。基于語料庫有五種信息測量被廣泛使用： 定向散度 ):( AA PPI [33],散度):( AA PPJ [33]，信息半徑 ),。,( 2121 ?? ?? PPIPPIPPK AAAA ???? (8) ?? ???? Vt AA AAAA AAAA tPtP tPtPtPtP tPtP tPtP ))()( )(l og)()()( )(l og)( )(l og)(( 2122111 ??????? 在散度測量中對數(shù)的底數(shù)是不重要的，在整個文中，對數(shù)都是取底數(shù)為 2，除非有特殊說明。當(dāng)我們沒有特別強(qiáng)調(diào) )(tPA 或 )(tPA ，則它可能有一個可取的對稱散度，且在信息增益方面是很有意義的。 ):( AA PPJ 是關(guān)于 )(tPA 和 )(tPA 對稱的，但是 它需要對每個 Vt? 都滿足 )()( tPtP AA ?? 和 )()( tPtP AA ?? ，當(dāng)我們從不同的類別中取出兩個詞分布，這樣的要求在實(shí)際應(yīng)用中很難達(dá)到。基于信息增益的表達(dá)， ),。,( 21 AA PPK ?? 得到了很好的定義，也就是說，它不需要 )(tPA 和 )(tPA 的任何要求： 當(dāng)0)()(,0 2121 ???? tPtP AA ???? 且若 0)()( ?? tPtP AA ，則對于每個 Vt? 都有)()()t()( tPtPPtP AA ?? ???? 和，因而設(shè) 2,10 ?? ii 對? 和 ),。,( 21 AA PPK ?? 關(guān)于 )(tPA 和 )(tPA 無論是 21 ??還是 都 是不對稱的 。 如果對所有 Vt? 都有 )()( tPtP AA ? ，則 0):( ?AA PPI 、 0):( ?AA PPJ 和0),。 在實(shí)踐中，杰森差異 [35]也成為熵增加的措施 ，實(shí)際上，當(dāng)信息熵 [38]使用時它是信息半徑 ,因此另一種方式是尋找信息半徑和杰森的差異。 鑒別測量 方法 設(shè) 21 HH和 是分別從 AA和 中取的詞 t，設(shè) )|()( 1HtPtP A ? 和 )|()( 2HtPtPA ?分別從 AA和 中取出，為深入了解鑒別信息和它的屬性，我們需要引入 一個符號—— 將這個符號定義為鑒別因子。 在圖靈機(jī)的術(shù)語和貝葉斯因素下，概念比 )()|( 11 HOtHO 在信息論中是一個直觀且重要的概念。 現(xiàn)在回到式（ 6），定向散度 ):( AA PPI 可以看成是)|:()|()( 211 tHHiHtPtifd I ? ，其中 )|: 21 tHHi 可看作是 t支持 1H 反對 2H 的鑒別力 ，幅度概率 )|( 1HtP 測量 t在類 A中的決策力，因此，根據(jù)定義 ，01 21 ?? ?? 且 ，則 )(tifdI 表示支持 1H 反對 2H 的信息，因此我們可以得到下列的正式定義： 定義 設(shè)對 Vt? 時 )()( tPtP AA ?? ，對于每個 Vt? ，則支持 1H 反對 2H 的鑒 14 別信息為： )( )(log)()()()1( tP tPtPtif dtif d AAAII ?? (9) )|:()|( 211 tHHiHtP? 接著 回到式（ 7）， 同樣的散度 ):( AA PPJ 可表達(dá)成 )(tifdJ 的和 ，每個都有兩個子項(xiàng)： )|:()|( 21112 tHHiHtPifd I ?和 )|:()|()( 12221 tHHiHtPtif d I ?，在式（ 9）中我們討論了 )()(12 tifdtifd II ?，類似的討論可以應(yīng)用到第二個子項(xiàng)中，因此通過定義 ，消去 2121 ????，則我們可以得到下列的正式定義： 定義 設(shè) )()( tPtP AA ?? ，對每個 Vt? 有 )()( tPtP AA ?? ，支持 1H 反對 2H 的鑒別信息可以由下式定義： )()()(12)1( tifdtifdtifd IIJ ?? 此式在式（ 9）已給出，支持 2H 反對 1H 的鑒別信息可以由下式定義： )( )(l og)()()( 21)2( tP tPtPtif dtif d AAAIJ ?? (10) )|:()|( 122 tHHiHtP? 且 t傳達(dá)的剩余信息由下式定義： )()()( )2()1( tifdtifdtifd JJJ ?? (11) 現(xiàn)在進(jìn)一步假設(shè) 21 HH和 是 t以先驗(yàn)概率 21 ??和 從 A和A 中提取，設(shè) ?H 是 t從 CAA ??? ? 中提取的，且 )|()()( 21 ?? ??? HtPtPtPP AA ?? 。,( 21 AA PPK ?? 包含所有的詞，每個都有兩個子項(xiàng)： )|:()|()( 111 tHHiHtPtif d I ???和 )|:()|()( 222 tHHiHtPtif d I ???。類似的討論將應(yīng)用到第二個子項(xiàng)中，則有 15 下列正式定義： 定義 對每個 Vt? 都設(shè) )()()( 21 tPtPtP AA ?? ??? ，則每個 Vt? 支持 1H 反對?H 的鑒別信息的定義為： )( )(log)()()( 1)1( tP tPtPtif dtif d AAIK ??? ? (12) )|:()|( 11 tHHiHtP ? 支持 2H 反對 ?H 的鑒別信息的定義為： )( )(log)()()( 1)2( tP tPtPtif dtif d AAIK ??? ? (13) )|:()|( 22 tHHiHtP ?? 且 t傳達(dá)的剩余信息的定義為： )()()( )2(2)1(1 tifdtifdtifd KKK ?? ?? (14) 在下一節(jié)中， 我們討論在定義 知的鑒別信息的性質(zhì)，并給出相應(yīng)的解釋。 )(tifdI 的闡述 注意， 對于每個非對稱定向散度中的詞 )(tifdI 在 Vt? 中的符號可能是正也可能是負(fù) ，因此我們有下列的定量表示： )()( tPtP AA ? ，則 0)|:( 21 ?tHHi ，即 t在分類 C 到 c中不能提供鑒別信息。 評論 注意，從上面的三點(diǎn)我們不能找到 t的 ssc和 ??)(tsscD ，在這三點(diǎn)的情況下，我們也不能說 t有助于支持 2H 反對 1H 的 0??Iifd，因?yàn)?()|:()()|:()()( 2112 1212 tif dtHHitPtHHitPtif d IAAI ???? 。 從上面的定理，我們了解到非對稱散度的每個詞 )(tifdJ 都是非負(fù)的，且對每個 Vt? 都有 0)(2112 ?? II ifdtifd，因此我們有下列的定量表示： 1. 如果 )()( tPtP AA ? ，則 0)|:()|:( 1221 ?? tHHitHHi ，即 t在分類 C 到 c中不能提供鑒別信息。 b. 0)|:( 21 ?tHHi ， t也傳達(dá)支持 2H 反對 1H 的信息，且它有助于支持 2H 反對 1H 的 )(2121 tifdifd II ??。 )()( tPtP AA ? ，則 a. 0)|:( 21 ?tHHi ， t傳達(dá)支持 1H 反對 2H 的信息，且 t有助于支持 1H 反對2H 的 )(1212 tifdifd II ?? 。 因此， 0)()}(),(m a x {212112* ??? tif dtif dtif d III?，且 ):(s up 12 HHtJ ?