第九章自動(dòng)標(biāo)引(存儲(chǔ)版)
【正文】 （ Principle of Least Effort）。 自動(dòng)標(biāo)引的基本流程 確定標(biāo)引源 輸入標(biāo)引源內(nèi)容 預(yù)處理 分詞處理 確定關(guān)鍵詞 轉(zhuǎn)換為受控詞 給出主題標(biāo)識符 確定標(biāo)引源 ? 即確定標(biāo)引所依據(jù)的文獻(xiàn)內(nèi)容（標(biāo)引源）。 ：科技論文首章節(jié)（引言、問題的提出等）常提出主要內(nèi)容，尾章節(jié)常作總結(jié)。 ? 西方文字有分隔符，切分容易實(shí)現(xiàn)。 ? 利用詞匯相似度：大多數(shù)意義相同或相近的詞之間字符全部或部分相同，關(guān)鍵詞與主題詞之間存在一定程度的相似性，可通過某些算法計(jì)算出來，根據(jù)相似性確定相應(yīng)的主題詞。 詞典法 （ Lexical Method） 分詞詞典： ? 停用詞表：文獻(xiàn)中詞頻很高或很低的詞或字 ? 特例詞表：如停用詞 “ 的 ” 、 “ 也 ” 可組成 “ 的士 ” 、 “ 也門 ” 等詞。 統(tǒng)計(jì)法 （ Statistical Method） ?依據(jù)兩個(gè)或多個(gè)漢字同時(shí)出現(xiàn)（相鄰出現(xiàn)）的概率，利用語料庫進(jìn)行能夠有監(jiān)督或無監(jiān)督的學(xué)習(xí)，得到描述一種語言的 “ 語言模型 ” ，然后通過該模型對文本進(jìn)行詞語切分。 ? NLM的自動(dòng)標(biāo)引項(xiàng)目 —— 標(biāo)引創(chuàng)始項(xiàng)目（ Indexing Initiative， II）， 20世紀(jì) 90年代開始實(shí)施，目的是研究出可部分或完全替代當(dāng)前標(biāo)引實(shí)踐工作的方法。目前報(bào)道的切分準(zhǔn)確率高達(dá) 98%以上。 詞語自動(dòng)切分的方法 ?詞語自動(dòng)切分的方法有很多，如詞典分詞法、人工神經(jīng)網(wǎng)絡(luò)算法、語料庫訓(xùn)練分詞方法等。 ?使用一定的方法，將以上提取的關(guān)鍵詞轉(zhuǎn)換為受控詞。 ?文檔格式的檢測與轉(zhuǎn)換：去掉 DOC、XML、 RTF等格式的文件夾雜的許多無意義的格式符號，即將不同格式文件轉(zhuǎn)換成適于自動(dòng)標(biāo)引的純文本格式。這是首選標(biāo)引源。 目前該方法已成為自動(dòng)標(biāo)引領(lǐng)域的熱點(diǎn)問題，人工神經(jīng)網(wǎng)絡(luò)、遺傳算法等方法的發(fā)展給自動(dòng)標(biāo)引增添了不少動(dòng)力。 ?根據(jù)自動(dòng)標(biāo)引采用的理論劃分，自動(dòng)標(biāo)引的方法主要有 3種：統(tǒng)計(jì)法、語言法、人工智能法。自動(dòng)標(biāo)引適應(yīng)了這一需要。第九章 自 動(dòng) 標(biāo) 引
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1