【正文】 在很多應(yīng)用中所使用的鑒別測量是 )(tifdD 而不是 )()( tifdiD ，但是使用 )(tifdD存在很多潛在的問題。我們以兩個簡單的例子 來定向，每個例子都是本研究的一個關(guān)鍵點(diǎn)。在以下的兩個例子，設(shè)我們有個分類 },{ 21 CCC? ,且已知其先驗(yàn)概率分布 },{},{ 21 ?? ???P 。 K1： 一個 正數(shù) 的剩余支持度可能不會表明 iVt? 在 iC 中 就有更多的信息 而在其他類 C 中就沒有什么信息。 例如，設(shè)取 )()1( ??tifdD 且 )()2( ?tifdD 。但是 1Vt? 時，則)()( ???????tifd D ，則我們不能稱 t 更支持 1C 而非 2C ，并且很明顯得到 ):(s up 12 HHtD ? 和 *2Vt? 。 K2:如果 *2Vt? ，則 t在類 iC 的表達(dá)環(huán)境中更具有信息量（ 盡管殘余支持度的代號可能為負(fù)。 ） 例如，如果 )()1( ?tifdD 且 )()2( ??tifd D ， 則 )()( ????????tifd D ，很明顯 得到 ):(s up 21 HHtD ?和 *1Vt? 。 以上的兩點(diǎn)對本文研究必不可少，它們將在第三節(jié)中表達(dá)鑒別測量)(), . . . ,2,1)(()( tifdMitifd DiD 和? 時得到更清楚的解釋。 9 為回答在 ，并深入了解詞之間的關(guān)聯(lián)性和特性，我們需要深入引入一系列符號 —— 我們必須定義詞與已知主題間的直觀關(guān)聯(lián)性概念。 設(shè)給定成對不相關(guān)的對象 ： M??? ,..., 21 ，在實(shí)際應(yīng)用中， i? 在 摘要中或類cCi? 的概述 中給出 ，其中 Mi ,...,2,1? 。設(shè) )(ti? 作為反映每個詞的重要性的加權(quán)函數(shù)，其中就 i? 而言， Vt? 。一般，當(dāng) VVVt ii ??? ?， 則 0)( ?ti? ，其中iV?是)(ti? 中詞的集合。 進(jìn)一步研究，將 )1( Mjiji ???? ?? 作為對象的復(fù)合體（可以 看成是 ji ??和的聯(lián)合 ） ， 若一個文件要么屬于 i? 要么屬于 j? ，則它可表示為 ji ??? 。 直覺上， t 與 i? 的關(guān)聯(lián)性由統(tǒng)計的特性決定： 1）關(guān)于 i? 的 t 的重要性， 2）只支持 iC 的 t的鑒別信息。因而關(guān)聯(lián)性 的 測量應(yīng)該是一個由 )()( )()( tifdt iDii 和、 ??決定的復(fù)合函數(shù)；在先驗(yàn)概率 },...,{ 21 MP ???? ? 下， 剩余的關(guān)聯(lián)性測量應(yīng)該是個別 C 中 si)(? 的加權(quán)代數(shù)和，則我們下列形式定義得到一些聲明： 定義 設(shè) D是式（ 1）中給出的散度測量，對于已知 Vt? ， t和 i? 的關(guān)聯(lián)性由下式?jīng)Q定 ： ))(),((),( )()( tif dttrel iDiiiD ?? ?? ， (4) 則余下的 t與 M??? ??? ...21 的關(guān)聯(lián)性由下式?jīng)Q定： ),()...,(121 iDMi iMD tr e ltr e l ????? ????? ?? (5) ))(),(( )()(1 tifdtiDiiMi i ?? ??? ??， 其中鑒別測量 ), . . . ,2,1(),()( Mitifd iD ? 在式（ 2 ）中給出了，所有). . .,(), . . . ,2,1)(,( 21 MDiD tr e lMitr e l ???? ???? 和都成為關(guān)聯(lián)性測量。 10 很明顯， ),( iD trel ? 是估計特定對象 i? 關(guān)于 iC 的 t 關(guān)聯(lián)性程度，個別的關(guān)聯(lián)性程度可以相互抵消，最后剩余關(guān)聯(lián)性程度 )...,( 21 MD trel ??? ??? ，它是個別關(guān)聯(lián)值在 C 上的加權(quán)代數(shù)和。 正如前面所提到的，互相緊密聯(lián)系的詞通常有相同的 ssc，0iC，并對對象0i?提供更高的關(guān)聯(lián)值。事實(shí)上，在介紹了鑒別測量和 關(guān)聯(lián)性測量后，第二個問題的答案就相當(dāng)簡單了，則我們可以下列的正式定義： 定義 設(shè) D 是式（ 1）給出的一些散度測量，對于任意的 Vtt ?21, ,它們相互緊密聯(lián)系，且存在一些類 cCi ?0，則能得到理想的情況： 1.0iC就是它們的 ssc， 也就是 *210, iVtt ? 2. 與 },{ 21*0 ttVi ?的 ),(0iD trel ?相比，0i?能得到更高的關(guān)聯(lián)值、),( 01 iD trel ? 和 ),( 02 iD trel ? 。 從上面兩個定義中，我們可以很清晰地得 出 “詞和對象的關(guān)聯(lián)性”和“詞之間的關(guān)聯(lián)性” 是兩個不同的概念。前者是詞和個別類別 iC 的關(guān)系，在這種關(guān)系中，支持度看成是 )()( tifdiD 并不超過 CV? 。后者是詞之間的關(guān)系， 則支持度在*0iVt? 時僅僅看成是最強(qiáng)支持度 )()(0 tifdiD 。 為簡單起見， 下面的討論我們只是在兩個對象 21 ??和 ，且 2?? MC 。這樣的設(shè)置很容易推廣到任何有限數(shù)目的類別中，此外，為了完善我們的想法，在本研究中每個 Vt? 都是與兩個對立的猜測聯(lián)系（如 12 HH ? ,是 1H 的補(bǔ)充）。 已知 21 ??和 這種簡化的一個重要應(yīng)用 是從兩個類別 },{},{ 21 AACCC ??? 中分類文件，其中 1CA?? 關(guān)于 1? 的分類， 而 12 CCCA ???? 不是 1? 的分類，在這種情況下，我們可以設(shè) 2? 是“虛無”對 象，即 2? =“不是 1? 的任何對象”。很明顯，在這種情況下 21 ??和 是互不相關(guān)的。 在下一節(jié)，基于類別 },{ AAC? 的一些散度測量，我們集中討論鑒別信息測 11 量。 在定義 鑒別信息的一般形式 )()2,1)(()( tifditifd DiD 和? ，從信息理論和相應(yīng)的正式表達(dá)得出三種散度測量，從而有了一系列的鑒別測量，接下來，都將設(shè) 00 21 ?? ?? 或 。 散度測量 方法 設(shè) )()( 1 tPtPA ? 和 )()( 2 tPtPA ? 都是分別從類 A和類 A 中提取的離散詞分布?；谡Z料庫有五種信息測量被廣泛使用： 定向散度 ):( AA PPI [33],散度):( AA PPJ [33]，信息半徑 ),。,( 21 AA PPK ?? [34]，杰森差異 [35]，這就是通常所說的信息增益，現(xiàn) 在已經(jīng)被許多研究者所熟悉，文獻(xiàn) [33]詳細(xì)介紹了散度的概念，文獻(xiàn)[36]中可以找到公理表征，下列將簡略地進(jìn)行介紹： 本研究中所使用的三個散度測量為： )( )(log)():( tP tPtPPPI AAVt AAA ???， (6) ):():(),( AAAAAA PPIPPIPPJ ?? (7) )( )(log))()(( tP tPtPtP AAVt AA?? ?? ):():(),。,( 2121 ?? ?? PPIPPIPPK AAAA ???? (8) ?? ???? Vt AA AAAA AAAA tPtP tPtPtPtP tPtP tPtP ))()( )(l og)()()( )(l og)( )(l og)(( 2122111 ??????? 在散度測量中對數(shù)的底數(shù)是不重要的，在整個文中，對數(shù)都是取底數(shù)為 2，除非有特殊說明。 ):( AA PPI 可看成是支持 )(tPA 而反對 )(tPA 的期望信息增益， kullback[33]稱為定向散度的測量，則表示 ):( AA PPI 可以測量從 )(tPA 中的 )(tPA 的期望散度，在應(yīng) 12 用 ):( AA PPI 時有一個必要條件就是 )(tPA 必須關(guān)于 )(tPA 的完全連續(xù)， 也就是)()( tPtP AA ?? ，對于每個 Vt? ， ):( AA PPI 都不能關(guān)于 )(tPA 和 )(tPA 的對稱。當(dāng)我們沒有特別強(qiáng)調(diào) )(tPA 或 )(tPA ，則它可能有一個可取的對稱散度，且在信息增益方面是很有意義的。 ):( AA PPJ 可看成是支持 )(tPA 而反對 )(tPA 的信息期望， 且信息期望是支持)(tPA 而反對 )(tPA [33]。 ):( AA PPJ 是關(guān)于 )(tPA 和 )(tPA 對稱的，但是 它需要對每個 Vt? 都滿足 )()( tPtP AA ?? 和 )()( tPtP AA ?? ，當(dāng)我們從不同的類別中取出兩個詞分布，這樣的要求在實(shí)際應(yīng)用中很難達(dá)到。 進(jìn) 一 步設(shè) 21 ??和 分 別 有先 驗(yàn) 概率 分布 )(tPA 和 )(tPA ，也設(shè))()()( 21 tPtPtP AA ?? ??? 是從語料庫 AA??? 中提取的混合分布（注意 ?P 與)(tPC 不同）?；谛畔⒃鲆娴谋磉_(dá)， ),。,( 21 AA PPK ?? 看成是支持 )(tPA 而反對)(tPA 的信息增益期望 [37][34], 與 ):( AA PPI 和 ):( AA PPJ 相比， ),。,( 21 AA PPK ?? 得到了很好的定義，也就是說，它不需要 )(tPA 和 )(tPA 的任何要求： 當(dāng)0)()(,0 2121 ???? tPtP AA ???? 且若 0)()( ?? tPtP AA ，則對于每個 Vt? 都有)()()t()( tPtPPtP AA ?? ???? 和，因而設(shè) 2,10 ?? ii 對? 和 ),。,( 21 AA PPK ?? 可以用來比較任意詞分布，因?yàn)檫@個突出特性，信息半徑貌似就有一些新的興趣點(diǎn)，很明顯 ),。,( 21 AA PPK ?? 關(guān)于 )(tPA 和 )(tPA 無論是 21 ??還是 都 是不對稱的 。在}21,21{},{ 21 ?? ???P 時，一個對稱的信息半徑可以很容易被引出。 如果對所有 Vt? 都有 )()( tPtP AA ? ，則 0):( ?AA PPI 、 0):( ?AA PPJ 和0),。,( 21 ?AA PPK ?? ，這個 性質(zhì)表明從所有詞中所得到的信息期望都是非負(fù)的，如果詞的分布信息是相同的，則將沒有信息期望，也就是說他們都滿足分類標(biāo)準(zhǔn)。 在實(shí)踐中，杰森差異 [35]也成為熵增加的措施 ，實(shí)際上，當(dāng)信息熵 [38]使用時它是信息半徑 ,因此另一種方式是尋找信息半徑和杰森的差異。因此，在原則上一些正式方法討論的的信息半徑和熵增益是同一回事，交互信息的測量期望是定 13 向 散度的特殊情況，我們已經(jīng)在 MDI[39][40]中討論了這兩個測量的應(yīng)用。 鑒別測量 方法 設(shè) 21 HH和 是分別從 AA和 中取的詞 t，設(shè) )|()( 1HtPtP A ? 和 )|()( 2HtPtPA ?分別從 AA和 中取出，為深入了解鑒別信息和它的屬性，我們需要引入 一個符號—— 將這個符號定義為鑒別因子。注意當(dāng) 1H 準(zhǔn)確，則有： )( )()|( )|(l og)|( )|(l og)( )(l og 212121 HP HPtHP tHPHtP HtPtP tP AA ?? ))()|(lo g ( 11 HOtHO? )|:( 21 tHHi?? ， 上式成為鑒別因子，其中 )|( 1 tHO 是 在已知 t 時 支持 1H 反對 2H 的幾率 ，且)( 1HO 是支持 1H 反對 2H 的幾率。 在圖靈機(jī)的術(shù)語和貝葉斯因素下，概念比 )()|( 11 HOtHO 在信息論中是一個直觀且重要的概念。 圖靈機(jī) 介紹表達(dá)“貝葉斯因子在假設(shè)條件下成立”，Kullback[33]把貝葉斯因子對數(shù) )|:( 21 tHHi 作為支持 1H 反對 2H 的“鑒別信息”，Good[41]也給了一個相似的定義，即將 )|:( 21 tHHi 當(dāng)作 t 關(guān)于 1H 而反對 2H 的“衡量證據(jù)的份量”（在這種情況下， 詞的發(fā)生率當(dāng)作是證據(jù)的分量 ） ，因此鑒別因子 )|:( 21 tHHi 可以測量 t支持 1H 反對 2H 的信息量。 現(xiàn)在回到式（ 6），定向散度 ):( AA PPI 可以看成是)|:()|()( 211 tHHiHtPtifd I ? ，其中 )|: 21 tHHi 可看作是 t支持 1H 反對 2H 的鑒別力 ，幅度概率 )|( 1HtP 測量 t在類 A中的決策力，因此，根據(jù)定義 ，01 21 ?? ?? 且 ，則 )(tifdI 表示支持 1H 反對 2H 的信息，因此我們可以得到下列的正式定義： 定義 設(shè)對 Vt? 時 )()( tPtP AA ?? ，對于每個 Vt? ，則支持 1H 反對 2H 的鑒 14 別信息為： )( )(log)()()()1( tP tPtPtif dtif d AAAII ??