【正文】 性。首先，介紹自動索引的基本原理，然后，介紹基于詞匯分布特征的索引方法：統(tǒng)計標引法、ngram標引法和概率標引、基于語言規(guī)則與內容的索引：句法分析標引法、語義分析標引法和基于概念的標引法、人工智能索引法：知識產(chǎn)生式表示法、語義網(wǎng)絡表示法和框架表示法和漢語自動索引。選取標引詞的原則在文本的計算機處理中，計算詞在一篇文獻中出現(xiàn)的頻率并不是唯一的方法（tf），有時考察詞在整個文獻庫中出現(xiàn)的頻率可能更重要(df,idf)。DIA(Darmstadt Indexing Approach)方法則是基于決策概率（某標引詞賦予某文獻這一決策事件正確性概率）的一種賦詞標引方法。若余弦值為１，則夾角為零，則兩篇文獻完全重合，即相等。 文獻空間密度與標引性能之間存在著密切聯(lián)系，二者存在互逆性。表示“文獻具有標引詞t與 t’”的信息量等于兩個標引詞信息量之和減去“文獻具有標引詞t或t’”的信息量。齊普夫定律是描述一系列實際現(xiàn)象的特點非常到位的經(jīng)驗定律之一。早在20世紀50年代Luhn就在Zipf定律基礎上提出詞頻統(tǒng)計標引方法，其主要步驟是：n 給定m篇文獻組成的一個集合，設第k個詞在第i篇文獻中發(fā)生的頻率fik 。這里，Sim是標準化的公式，它的取值是[0，1]（在矢量模型中將給出更多的介紹） 計算去掉第j個詞后的文獻空間密度，用U2表示 詞j的鑒別值定義為：DVj = U2 U1 在鑒別值的計算中，我們不能以詞的頻率為主，而是要關注詞在文檔集中的分配。 其中，1+log(N/n)，是對DF進行緩沖。n 對文獻中發(fā)現(xiàn)的每個ngram，用其計數(shù)與在“背景文獻”中對應的計數(shù)比較。 （1） 匯集肯定和否定訓練（Training）集合 對一特定標引詞Ij,一些由Ij標引的文獻被匯集起來（當然，這些文獻事先由標引員標引），這些文獻稱為Ij 的肯定訓練集合。在前一步計算的關系Rj 基礎上，我們分別計算肯定訓練集合和否定訓練集合中的平均標引值。但是這種方法在主題名稱的范疇分析及主題標目的選擇等方面需要較多的人工干預，影響了其自動標引效率。但是詞典的構造困難，詞典的維護也需要付出相當大的代價，并且是永無盡頭的。如：科技文獻的標題和文摘中的句型種類較為有限，如“本文討論了……”等，幾乎出現(xiàn)在每一篇文獻中，而這些句子對自動標引來說則非常重要，因為這些句型正是表達文獻主題內容的句型。它也可以是一種公式tf * idf。比如下面的詞在意思上是相近的：transformer, transforme, transforment, transformation, transformateur, … 這些詞之間形式的不同對于信息檢索是不利的。例如，我們應用規(guī)則：將以 ation結尾的詞替換為er結尾，transformation 224。這個詞及其權重的集合用來構成文檔內容的表示。在下一章中， 我們將介紹一些傳統(tǒng)的信息檢索模型。 借助于這種種類識別結構，可以將單詞轉換成標準形式。這個算法被當作一個典型的算法。系統(tǒng)所使用的列表是變化的. 這取決于應用領域。單漢字標引和檢索的基本過程中，標引時計算機對處理的文本逐一抽字，經(jīng)過一些處理（如去掉無意義的虛字）后，建立索引文件。切分的原則是有聯(lián)系則取，無聯(lián)系則斷。7 漢語自動索引我國研究人員60年代初開始關注自動標引的研究動向，70年代末開始探索漢語文獻自動標引問題，他們在TK 70計算機上建立了一個試驗系統(tǒng)，借助詞典對文獻題名進行切分，然后使用一套組詞規(guī)則將切出的小詞組成專指的關鍵詞輸出 蘇新寧. 漢語文獻自動標引綜析 . 情報學報，1993（2）：92～99。句法分析法從文獻的標題出發(fā)，分析其內在結構，其假設是文章的標題是可以基本反映文章的主要內容。Rj可用加權向量描述： Rj = {wj1,wj2,...,wjm}其中，wjk 為在關系Rj中第k個詞的權重，m 為肯定及否定訓練集合中不同單詞數(shù)。其他計算方法：例如：“Party on Peter Chen’s birthday”， 統(tǒng)計學習索引法統(tǒng)計學習標引法首先通過學習過程建立候選標引詞與對其標引產(chǎn)生正反不同作用的促進詞和削弱詞集合之間的關系，然后由標引過程根據(jù)候選標引詞在此關系中的權值及其詞頻來確定其是否作為標引詞?？紤]一個長為S具有符號 s1,s2,...,ss的文本樣本，給定正整數(shù)n（典型的n值從3到6），則定義第j個ngram gj如下：gj =（sj(n1)/2, sj(n1)/2+1, ... , sj(n1)/2+n1） 抽出文本的全部ngram之后，用一HASH表統(tǒng)計ngram。通過 idf, 來測量詞的鑒別性，是對整個文檔集合而言的。在矢量模型中，每個文檔由加權的矢量來表示，例子如下： t1 t2 t3 … tndi 224。信息量是指對詞所蘊含含義的質量的測量。 基于詞頻的基本方法 大量詞頻統(tǒng)計結果表明，文章中出現(xiàn)頻率最高的詞匯往往是反映句子語法結構的虛詞，作者重點闡述某主題時所用的核心詞，其出現(xiàn)頻率通常較高。記為T中元素經(jīng)、運算后得到的所有元素的集合，顯然。而聚類文獻的空間密度由式（22）給出：其中，為整個文獻集合矩心，為文獻與矩心的相關度。（1）文獻向量的相關性　　有了文獻空間，每一篇文獻在其中都有一個確定的位置，文獻的空間位置就為我們計算它們之間的相關程度提供了途徑。在理想情況下，索引詞應該是表達文檔內容的語義單位，對應著語言學里的詞匯詞的概念，它是專門表示含義，而其實際意義無法由組合成分相加得到的最小語言單位[7]。因此詞根（如“beat”）可以被選擇并存儲，它代替了多種對應的變體“beat”、“beating”、和“beated”。這一問題的擱淺直接影響了漢語文獻的自動索引及漢語的句法分析與語義分析研究，成為中文自動索引研究發(fā)展的瓶頸。選用詞作為概念的表示形式的想法是很自然的。事實上，詞是最容易識別的語言單位，并且，它們也能充分地表達語義。如何高效低成本地實現(xiàn)信息索引是信息檢索領域重要的研究課題。取詞根程序可以自動去除指定的詞尾，如“ed”、“ing”等。 自動賦詞標引原理賦詞標引是指使用預先編制的詞表中詞來代替文本中的詞匯進行標引的過程，即將反映文本主題內容的關鍵詞（欲用作標引的關鍵詞）轉換為詞表中的主題詞（或敘詞等），并用其標引的方法。從文獻空間上看，兩篇文獻相關就是指代表這兩篇文獻的向量靠得很近，具體講就是這兩個向量的夾角很小。顯然，式（22）只需計算n次。稱為廣義標引詞庫。因此，最高頻詞和低頻詞都不適宜做標引詞，只有詞頻介于最高頻和低頻之間的這部分詞匯才適合做標引詞。這個概念在IR中的定義不是很精確。 pi1 pi2 pi3 … pin其中，pij表示詞tj 在文檔di中的權重。這里, 給出了一些常用的 tf 和idf 公式。這樣，gj 便通過一容易計算的HASH函數(shù)k映射到一表地址k(gj)上。這種方法由學習和標引兩個過程組成。 （4） 確定兩個平均標引值之間的中值測量給一文獻賦予標引詞Ij的概率的標引值計算如下： 標引值 = 標引值越大，標引詞Ij 賦予文獻的概率越大。它從語法角度上確定句子中每個詞的作用 (如主語還是謂語 )和詞之間的相互關系 (如是修飾還是被修飾 )，并通過與事先準備好的解析規(guī)則或語法相比較而實現(xiàn)。比較有代表性的自動標引系統(tǒng)有基于部件詞典的啟動標引系統(tǒng)、基于規(guī)則與詞典的自動標方法、基于非用字后綴表法的自動標引等 顧敏、史麗萍、李春玲. 自動標引綜述. 黑龍江水專學報，2000（9）：103～104。該方法在微機上實現(xiàn)標引，證明其簡單易行，并能獲得較高的準確率。檢索時輸入的檢索字與索引文件進行比較，并做一些邏輯組配，得出檢索結果。例如，concrete, adj. 具體的 n. 水泥（建筑學領域） 停止表的使用是非常簡單的. 將出現(xiàn)在文檔中詞，先檢查它是否出現(xiàn)在列表中。很多系統(tǒng)采用這個方法或它的變體。9 索引的結果在創(chuàng)建索引的過程中，必須轉換單詞的形式，選擇一些關鍵詞作為索引詞并對它們進行測量。10 參考文獻[1 ] . Porter, An algorithm for suffix stripping, Program, 14(13): 130137, 1980.[2] J. Savoy, Stemming of French words based on grammatical categories, Journal of the Americal Society for Information Science, 44(1): 19, 1993.[3] 林春實、方燕、全吉成. 漢語文獻自動分詞與標引技術發(fā)展淺析. 情報學報，1997（12）：30～33[4] 網(wǎng)絡信息資源自動標引——面向中文網(wǎng)絡文本信息的研究，北京大學校長基金論文集（2003）。 {… (ti, pi), …} ti是指一個詞， pi是它的權重。為了知道一個字母序列是否是一個最終的字，對它進行從后面去掉某些字母或形式裝換，來驗證剩余的部分是否在字典中，如果不是， 這不是一種正確的方法，采用其它的想象的方法。 改善方法2：詞形的轉換我們注意到許多詞有不同的形式，但它們的意思是相同的或相近的。它可以用簡單的發(fā)生頻率來表示，或者對頻率的某種轉化（比如標準化）來表示。但是句型文法分析則相對容易。其思想是構造 一個詞典（主題詞典、關鍵詞典、部件詞典等），