【正文】 在下一章中， 我們將介紹一些傳統(tǒng)的信息檢索模型。 索引器可以使用集中式索引算法或分布式索引算法。使用的方法一般有統(tǒng)計法、信息論法和概率法。這個詞及其權(quán)重的集合用來構(gòu)成文檔內(nèi)容的表示。 借助于這種種類識別結(jié)構(gòu)，可以將單詞轉(zhuǎn)換成標準形式。 正確的語法種類識別。 如果不存在，不能進行轉(zhuǎn)換。例如，我們應用規(guī)則：將以 ation結(jié)尾的詞替換為er結(jié)尾，transformation 224。這個算法被當作一個典型的算法。如，在某些形容詞后加入ness，happiness, 在動詞后加入able, adjustable。去掉這些詞的結(jié)尾部分，保留根部，它們會有相同的形式。比如下面的詞在意思上是相近的：transformer, transforme, transforment, transformation, transformateur, … 這些詞之間形式的不同對于信息檢索是不利的。系統(tǒng)所使用的列表是變化的. 這取決于應用領域。但又不想把它們作為索引詞，因為它們沒有實際意義。這是常用的方法。它也可以是一種公式tf * idf。單漢字標引和檢索的基本過程中，標引時計算機對處理的文本逐一抽字，經(jīng)過一些處理（如去掉無意義的虛字）后，建立索引文件。目前漢語自動標引專家系統(tǒng)只處在初期的試驗階段，遠未達到實用水平。由于漢字構(gòu)詞具有極大的靈活性，漢語詞性缺乏嚴格的規(guī)定性，漢語詞匯沒有嚴格的形態(tài)變化，再加上漢語文獻作者使用語言的多樣性和不規(guī)范性，造成同一主題可以有多種表達方式，一種表達方式在不同的語境中可以表達多個主題。如：科技文獻的標題和文摘中的句型種類較為有限，如“本文討論了……”等，幾乎出現(xiàn)在每一篇文獻中，而這些句子對自動標引來說則非常重要，因為這些句型正是表達文獻主題內(nèi)容的句型。切分的原則是有聯(lián)系則取，無聯(lián)系則斷。吳蔚天、田鶴卿先生提出的實現(xiàn)漢字科技文獻自動標引的非用字后綴法是一個典型的切分標記法。 切分標記法 切分標記法是將能夠斷開句子或表示漢字之間關(guān)系的漢字集合組成切分標記機內(nèi)字典。但是詞典的構(gòu)造困難，詞典的維護也需要付出相當大的代價，并且是永無盡頭的。7 漢語自動索引我國研究人員60年代初開始關(guān)注自動標引的研究動向，70年代末開始探索漢語文獻自動標引問題，他們在TK 70計算機上建立了一個試驗系統(tǒng)，借助詞典對文獻題名進行切分，然后使用一套組詞規(guī)則將切出的小詞組成專指的關(guān)鍵詞輸出 蘇新寧. 漢語文獻自動標引綜析 . 情報學報，1993（2）：92～99。其中具有代表性的有：基于產(chǎn)生式表示法的JAKS系統(tǒng)、基于語義網(wǎng)絡表示法的WorldViews、MedIndEx系統(tǒng)和漢語自動標引專家系統(tǒng)DIES DIES (Document Indexing Expert System ) 是北京文獻服務處開發(fā)的一個試驗系統(tǒng)。學術(shù)界對從語言學角度研究自動標引的做法頗有爭議，反對者的主要理由包括：語言法的使用限制多、語言學領域的研究成果對促進自動發(fā)展幫助甚微等6 人工智能索引法人工智能是計算機科學的一個分支，它專門研究怎樣用機器理解和模擬人類特有的智能系統(tǒng)的活動，探索人們?nèi)绾芜\用已有的知識、經(jīng)驗和技能去解決問題。但是這種方法在主題名稱的范疇分析及主題標目的選擇等方面需要較多的人工干預，影響了其自動標引效率。句法分析法從文獻的標題出發(fā)，分析其內(nèi)在結(jié)構(gòu)，其假設是文章的標題是可以基本反映文章的主要內(nèi)容?；诔霈F(xiàn)概率的標引方法是根據(jù)詞在文獻中的出現(xiàn)頻次所服從的概率分布的特征來選擇標引詞，如2—Poisson模型。到目前為止，概率標引法所依據(jù)的概率主要有相關(guān)概率，決策概率和出現(xiàn)概率。在前一步計算的關(guān)系Rj 基礎上，我們分別計算肯定訓練集合和否定訓練集合中的平均標引值。Rj可用加權(quán)向量描述： Rj = {wj1,wj2,...,wjm}其中，wjk 為在關(guān)系Rj中第k個詞的權(quán)重，m 為肯定及否定訓練集合中不同單詞數(shù)。選擇促進詞和削弱詞的方法描述如下。通過這一步，便可得到兩個zscore表，此表描述了在Ij 的肯定訓練集合和否定訓練集合中的單詞的統(tǒng)計分布。 （1） 匯集肯定和否定訓練（Training）集合 對一特定標引詞Ij,一些由Ij標引的文獻被匯集起來（當然，這些文獻事先由標引員標引），這些文獻稱為Ij 的肯定訓練集合。其他計算方法：例如：“Party on Peter Chen’s birthday”， 統(tǒng)計學習索引法統(tǒng)計學習標引法首先通過學習過程建立候選標引詞與對其標引產(chǎn)生正反不同作用的促進詞和削弱詞集合之間的關(guān)系，然后由標引過程根據(jù)候選標引詞在此關(guān)系中的權(quán)值及其詞頻來確定其是否作為標引詞。n 每個被抽出的單詞或短語取其所包含字符得分的平均值為其一種特例得分。 類似地，“背景文獻”中對應的計數(shù)，總計數(shù)R=，的潛在概率向量為，則：通過對數(shù)線形聯(lián)列表分析，第i個ngram的得分為： ngram的得分越高，其特性越強。n 對文獻中發(fā)現(xiàn)的每個ngram，用其計數(shù)與在“背景文獻”中對應的計數(shù)比較?？紤]一個長為S具有符號 s1,s2,...,ss的文本樣本，給定正整數(shù)n（典型的n值從3到6），則定義第j個ngram gj如下：gj =（sj(n1)/2, sj(n1)/2+1, ... , sj(n1)/2+n1） 抽出文本的全部ngram之后，用一HASH表統(tǒng)計ngram。 1995年Cohen用ngram分析法選擇被其稱為“最亮點（Highlights）”的標引詞。 ngram索引方法ngram標引法的基本原理是以n字符串為統(tǒng)計對象，將其統(tǒng)計得分賦予該串中心字符，然后選擇包含得分超過特定閾值字符的單詞或短語作為標引詞。 其中，1+log(N/n)，是對DF進行緩沖。通過 idf, 來測量詞的鑒別性，是對整個文檔集合而言的。這說明兩種標引方法在本質(zhì)上是一致的。根據(jù)這一思想的加權(quán)函數(shù)如下： Wij =Fij *DVj詞區(qū)分值加權(quán)標引與逆文獻頻率加權(quán)標引基本上是一致的。這里，Sim是標準化的公式，它的取值是[0，1]（在矢量模型中將給出更多的介紹） 計算去掉第j個詞后的文獻空間密度，用U2表示 詞j的鑒別值定義為：DVj = U2 U1 在鑒別值的計算中，我們不能以詞的頻率為主，而是要關(guān)注詞在文檔集中的分配。在矢量模型中，每個文檔由加權(quán)的矢量來表示，例子如下： t1 t2 t3 … tndi 224。 詞的鑒別值對于索引詞的選擇是非常重要的。為確定臨界點，設低頻詞定律具有高頻詞特征，也就是詞頻為n的詞數(shù)接近于1 （），即每個詞具有唯一的級數(shù)，則式（74）變?yōu)椋? 上述整理式為一元二次方程，解此方程保留正平方根，得： 求得n之后，以n為臨界區(qū)的中點，以最高詞頻處為臨界區(qū)的上界，取與n到上界之間等級距離相等的另一端為臨界區(qū)的下屆，位于臨界區(qū)內(nèi)的詞經(jīng)過禁用詞表處理即可選為標引詞。早在20世紀50年代Luhn就在Zipf定律基礎上提出詞頻統(tǒng)計標引方法，其主要步驟是：n 給定m篇文獻組成的一個集合，設第k個詞在第i篇文獻中發(fā)生的頻率fik 。信息量是指對詞所蘊含含義的質(zhì)量的測量。定律描述了文本中高頻詞的出現(xiàn)規(guī)律，而其修正定律即Zipf第二定律（低頻詞定律）則描述了低頻詞的出現(xiàn)情況，如式（74）所示： （74）這兩個完全不同的定律刻畫了文本中詞分布的兩個極端情況。排在第二位的詞語：%，%。齊普夫定律是描述一系列實際現(xiàn)象的特點非常到位的經(jīng)驗定律之一。 基于詞頻的基本方法 大量詞頻統(tǒng)計結(jié)果表明，文章中出現(xiàn)頻率最高的詞匯往往是反映句子語法結(jié)構(gòu)的虛詞，作者重點闡述某主題時所用的核心詞，其出現(xiàn)頻率通常較高。4 基于詞匯分布特征的索引方法基于詞匯分布特征的索引方法依據(jù)下述假設來選擇索引詞：某詞在文獻中的出現(xiàn)頻率與該詞的文獻區(qū)分功能有密切關(guān)系。我們的目的是從標引詞t出發(fā)，對標引詞t’作一推測。表示“文獻具有標引詞t與 t’”的信息量等于兩個標引詞信息量之和減去“文獻具有標引詞t或t’”的信息量。記為T中元素經(jīng)、運算后得到的所有元素的集合，顯然。在計算這種信息的信息量時，最樸素的思想是信息的外延越大，其內(nèi)涵越弱，信息量越??；反之，信息的外延越窄，其內(nèi)涵越強，信息量越大。（1）標引詞的信息量設文獻庫D={d1,d2,...,dn}為對象庫，稱為外延空間，而標引詞庫T={t1,t2,...,tn} 為屬性集，稱為內(nèi)涵空間，矩陣R稱為DT上的關(guān)系數(shù)據(jù)庫：R=R也稱為“對象屬性數(shù)據(jù)”系統(tǒng)。 文獻空間密度與標引性能之間存在著密切聯(lián)系，二者存在互逆性。而聚類文獻的空間密度由式（22）給出：其中，為整個文獻集合矩心，為文獻與矩心的相關(guān)度。由于上述原因，我們考慮使用聚類文獻空間。因此，為了達到理想的檢索效果，應將文獻空間中的點盡可能地分開，即對式（21）求最小值。若余弦值為１，則夾角為零，則兩篇文獻完全重合，即相等。（1）文獻向量的相關(guān)性　　有了文獻空間，每一篇文獻在其中都有一個確定的位置，文獻的空間位置就為我們計算它們之間的相關(guān)程度提供了途徑。FASIT法就是一種典型的基于概念的賦詞標引方法，F(xiàn)ASIT法的實現(xiàn)過程是：對文獻中與其主題相關(guān)的詞或短語賦予一定的句法范疇或幾個范疇的組合，并給出相應的標記；然后采用與上下文相關(guān)的消除歧義規(guī)則，消除多重標記詞的歧義性；最后利用一個概念形式詞典進行