第九章自動(dòng)標(biāo)引-資料下載頁
【導(dǎo)讀】自動(dòng)標(biāo)引的定義及意義。AidedIndexing），是根據(jù)文獻(xiàn)內(nèi)容，給出標(biāo)引符號(hào)的過程。換句話說，就是利用計(jì)算機(jī)系統(tǒng)模。索所需的索引符號(hào)的過程。自動(dòng)主題標(biāo)引關(guān)鍵在于：詞語抽取；當(dāng)前，各標(biāo)引系統(tǒng)都在不同程度地。球新生產(chǎn)出的信息量就翻了一番。只有提高信息組織的效率，才。信息標(biāo)引顯得非常重要。工標(biāo)引難以克服的缺點(diǎn)。一致性好，穩(wěn)定性好。美國的Cleverton曾作過一些試驗(yàn)，標(biāo)引，其標(biāo)引詞的同一率僅有30%左右；目前研究的自動(dòng)標(biāo)引的方法很多，根據(jù)自動(dòng)標(biāo)引采用的理論劃分，自。也是目前較為成熟的一種方法?，F(xiàn)頻率及出現(xiàn)位置等因素確定標(biāo)引詞。學(xué)術(shù)界對(duì)語言法的自動(dòng)標(biāo)引頗有爭(zhēng)議。的發(fā)展給自動(dòng)標(biāo)引增添了不少動(dòng)力。如果對(duì)全文進(jìn)行掃描，則存在數(shù)據(jù)量大。多雜音，影響標(biāo)引質(zhì)量和速度。這是首選標(biāo)引源。替代整個(gè)章節(jié)，節(jié)省大量無效勞動(dòng)。輸入系統(tǒng)，才可能進(jìn)行自動(dòng)標(biāo)引。GB碼的自動(dòng)檢測(cè)與轉(zhuǎn)換。據(jù)權(quán)值大小確定關(guān)鍵詞。使用一定的方法，將以上提取的關(guān)。使用關(guān)鍵詞-受控詞對(duì)照表：該表
【正文】 低的詞或字 ? 特例詞表：如停用詞 “ 的 ” 、 “ 也 ” 可組成 “ 的士 ” 、 “ 也門 ” 等詞。使用停用詞表預(yù)切分前，利用特例詞表將特例詞保護(hù)起來。 ? 關(guān)鍵詞表：系統(tǒng)分詞的主要依據(jù)，必須盡量完備。 ? 人名、機(jī)構(gòu)名和地名詞表 詞典法 （ Lexical Method） 匹配算法： ? 根據(jù)匹配方向不同：正向匹配、逆向匹配 ? 根據(jù)匹配長(zhǎng)度不同：最大匹配法、最小匹配法 ? 最大正向匹配、最大逆向匹配 ? 最大匹配法切分的詞長(zhǎng)度大，專指性高，效果較好。目前使用較多。 詞典法 （ Lexical Method） ? 優(yōu)點(diǎn)：便于實(shí)現(xiàn)，操作簡(jiǎn)單，實(shí)際應(yīng)用較多。目前報(bào)道的切分準(zhǔn)確率高達(dá) 98%以上。 ? 缺點(diǎn)：歧義問題、詞典問題、詞綴問題、名稱問題、譯名問題 ? 實(shí)際使用的分詞系統(tǒng)，將機(jī)械分詞作為一種初分手段，再利用其他的語言信息進(jìn)一步提高切分準(zhǔn)確率，如改進(jìn)掃描方式、將分詞與詞類標(biāo)注結(jié)合。 統(tǒng)計(jì)法 （ Statistical Method） ?依據(jù)兩個(gè)或多個(gè)漢字同時(shí)出現(xiàn)（相鄰出現(xiàn)）的概率，利用語料庫進(jìn)行能夠有監(jiān)督或無監(jiān)督的學(xué)習(xí)，得到描述一種語言的 “ 語言模型 ” ，然后通過該模型對(duì)文本進(jìn)行詞語切分。 統(tǒng)計(jì)法 （ Statistical Method） ?優(yōu)點(diǎn)：降低了生詞（包括譯名）的影響，只要有足夠的訓(xùn)練文本就易于創(chuàng)建和使用。 ?缺點(diǎn)： “ 足夠訓(xùn)練 ” 非常難以做到，不可能有足夠的語料庫進(jìn)行訓(xùn)練，實(shí)用性低。 混和法 （ Hybrid Method） ?將兩種方法結(jié)合，綜合考慮，吸取各自優(yōu)點(diǎn)，提高分詞效率。 其他內(nèi)容簡(jiǎn)介 ? 矢量空間模型（ Vector Space Model，VSM）：自動(dòng)標(biāo)引主要依據(jù)的理論。改進(jìn)：語義矢量空間模型（ Semantic Vector Space Model， SVSM）。 ? NLM的自動(dòng)標(biāo)引項(xiàng)目 —— 標(biāo)引創(chuàng)始項(xiàng)目（ Indexing Initiative， II）， 20世紀(jì) 90年代開始實(shí)施，目的是研究出可部分或完全替代當(dāng)前標(biāo)引實(shí)踐工作的方法。
鄂ICP備17016276號(hào)-1