【正文】 390K 字符每秒 準(zhǔn)確：盤古分詞采用字典和統(tǒng)計(jì)結(jié)合的分詞算法，分詞準(zhǔn)確率較高。引入隱喻，采用完全的 面向?qū)ο笤O(shè)計(jì) ，構(gòu)思先進(jìn)。 HTTPCWS 將取代之前的 PHPCWS 中文分詞擴(kuò)展 CCCEDICT 一個(gè)中文詞典開源項(xiàng)目，提供一份以漢語拼音為中文輔助的漢英辭典，截至 2021 年 2 月8 日，已收錄 82712 個(gè)單詞。 不僅對于算法的研究，目前國內(nèi)已有許多分詞系統(tǒng)相繼開發(fā)完成。這兩類問題解決不好，那么中文分詞就無法解決，本文系統(tǒng)的講解了這兩類問題，以及遇到的困難等。中文分詞是信息提取、信息檢索、機(jī)器翻譯、文本分類、自動文摘、語音識別、文本語音轉(zhuǎn)換、自然語言理解等中文信息處理領(lǐng)域的基礎(chǔ)研究課題 [1]。 twoway match。 關(guān)鍵詞 ： 中文分詞；雙向匹配；子字 典機(jī)制 ABSTRACT Chinese word segmentation is the basis of information extraction, information retrieval, machine translation, text categorization, automatic summarization, speech recognition, textspeech, natural language understanding and other Chinese information processing , although Chinese word segmentation has been studied for many years, the Chinese word is one of the Bottleneck of Chinese information processing . Firstly, this paper is to present the segmentation algorithm which has been analyzed, summarized, discussed the implementation of the Chinese has not been identified two major problems: ambiguous word recognition and not landing. Then, the basis of the dictionary will be based on maximum matching and maximum reverse positive match together to form a twoway matching word segmentation algorithm, and uses its own dictionary mechanism proposed by (a dictionary mechanism.) to achieve a twoway matching algorithm based on Chinese word segmentation system. Key words: Chinese word。中文不同于西文，沒有空格這個(gè) 分隔符，同時(shí)在中文中充滿了大量的同義詞，相近詞，如何給中文斷句是個(gè)非常復(fù)雜的問題，即使是手工操作也會出現(xiàn)問題。在計(jì)算機(jī)科學(xué)，仍有兩大難題未能很好的解決，一是歧義識別問題，二是未登錄詞的處理問題?；谠~典的分詞方法又稱機(jī)械分詞方法，主要包括最大正向匹配，最大逆向匹配，最少切分法等。HTTPCWS 使用 “ICTCLAS 2021 共享版中文分詞算法 ”的 API 進(jìn)行分詞 處理，得出分詞結(jié)果。Paoding Paoding（庖丁解牛分詞）基于 Java 的開源中文分詞組件，提供 lucene 和 solr 接口，具有極 高效率 和 高擴(kuò)展性 。官方說：詞語的正確識別率達(dá)到了 %。本文對于深入的研究中文分詞，打下了良好的基礎(chǔ)，試圖為今后的的研究工作提出一個(gè)比較系統(tǒng)的研究方案。 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 4 2 中文分詞簡介 中文分詞是中文信息處理的基礎(chǔ)，也是中文信息處理的關(guān)鍵，中文分詞，通俗的講就是由機(jī)器在中文文本中詞與詞之間自動加上空格。雖然到現(xiàn)在為止沒有出線一個(gè)百分百的消除歧義的算法，但是 已經(jīng)出現(xiàn) 了許多比較好的，且具有實(shí)際應(yīng)用價(jià)值的算法。 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 5 切分歧義及其處理方法 （ 1） 常見歧義類型 在中文中存在著很多的歧義切分字段， 典型的歧義有交集型歧義（約占全部歧義的 85%以上）和組合型歧義 [4]。 2） 第二類歧義問題是由機(jī)器自動分詞出現(xiàn)的，這類分詞只有一種正確的分詞方法，但因?yàn)榉衷~采用的分詞算法不同而出現(xiàn)不同的分詞結(jié)果，例如 對于這句話 “ 這時(shí)候最熱鬧的 ” ，如果采用最大正向匹配的算法就是 “ 這時(shí)候 /最熱 /鬧 /的 ” ，而如果采用最大逆向匹 配就是 “ 這時(shí)候 /最 /熱鬧 /的 ” 。我們首先位于字符串的開頭并想知道如何區(qū)分單詞。如果存在有歧義的分詞（例如， _C1_是一個(gè)單詞，但是 _C1C2_也是一個(gè)單詞，等等），然后我們向前再看兩個(gè)單詞去尋找所有可能的以 _C1_ 或者 _C1C2_ 開頭的三詞 chunks。前一種未登錄詞理論上是可預(yù)期的，能夠人工預(yù)先添加到詞表中（但這也只是理想狀態(tài)，在真實(shí)環(huán)境下并不易做到）；后一種未登錄詞則完全不可預(yù)期，無論詞表多么龐大，也無法囊括 [4]。常用的方法如下 [3]: 正向最大匹配法 (Maximum Matching Method)通常簡稱為 MM法。 基于統(tǒng)計(jì)的分詞算法 [6] 該方法的主要思想：詞是穩(wěn)定的組合，因此在上下文中，相鄰的字同時(shí)出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一個(gè)詞。 基于理解的分詞算法 該方法又稱基于人工智能的分詞方法，其基本思想就是在分詞的同時(shí)進(jìn)行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。 雙向匹配算法 雙向匹配算法簡要說來就是對待切分的文字分別進(jìn)行最大正向匹配和最大逆向匹配，然后在此基礎(chǔ)上對切分結(jié)果進(jìn)行比較，然后根據(jù)不同的結(jié)果采用不同的分詞策略。 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 9 否 是 否 否 獲得預(yù)處理的待分句子 ( STR)初始化 Index=0 開始 獲得子字典最大長度并將其設(shè)為最大 長度 MaxLength 取 STR 為字符串 SubStr 將 SubStr 在字典庫中按最大長度搜索 比較 STR 長度是否大于 MaxLength Index 位取 MaxLength 長字符串（ SubStr） 是否搜索成功 切分位置加 SubStr 是否 SubStr 大于 1 切分標(biāo)志加 1(Index+1) 刪除 SubStr 最后一個(gè)字 將 str 在標(biāo)志位 Index 切分，保存分詞結(jié)果到 list 判斷 Index 是否小于 STR 的長度 返回結(jié)果集 List 結(jié)束 是 是 圖 31最大正向匹配算法 是 否 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 10 最大逆向匹配算法（ RMM） 最大逆向匹配算法的算法思想是：最大逆向匹配的算法跟最大正向匹配類似，不同的是掃描的方向，它是從右往左取子串進(jìn)行匹配。 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 13 基于詞典的分詞算法的詞典機(jī)制 基于詞典的中文分詞很大一部分上的效率取決于詞典的選擇，所以分詞的詞典設(shè)計(jì)是中文分詞系統(tǒng)工程開發(fā)中一個(gè)重要基礎(chǔ)部分。這種算 法 的數(shù)據(jù)結(jié)構(gòu)簡單占用空間小構(gòu)建及維護(hù)也簡單易行但由于采用全詞匹配的查詢過程效率較為較低。 首字 Hash 表 入口項(xiàng)個(gè)數(shù) 子樹指針 啊 阿 ?? 大 ?? 鼾 頇 005 089 ?? 794 ?? 002 000 . . ?? . ?? . ^ ^ 案 把 壩 白 ?? 0 2 2 0 5 ?? . . . . . ?? 大字的 TRIE 索引樹 ^ 要 0 1 . . ^ 菜 話 鼠 天 0 0 0 0 0 . . . . . 大 案 案 0 . 大案要案 大 白 大 白 菜 大 白 話 大 白鼠 大 白天 關(guān)鍵字 子樹大小 子樹指針 圖 35 基于 TRIE 索引樹的詞典機(jī)制 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 16 小結(jié) 本章主要講解了雙向匹配的算法思想和算法流程，雙向匹配是建立在傳統(tǒng)的單向匹配的算法基礎(chǔ)上，同時(shí)吸取了最大正向匹配和最大逆向匹配算法的優(yōu)點(diǎn)，同時(shí)雙向匹配對于發(fā)現(xiàn)歧義有一定的優(yōu)勢，對于將來研究消除歧義的算法打下了良好的基礎(chǔ)。由于中文本身語言的復(fù)雜性，對于中文分詞本身所遇到的切分歧義問題、未登錄詞做到?jīng)]有錯(cuò)位完全實(shí)現(xiàn)幾乎是不可能的。 石家莊經(jīng)濟(jì)學(xué)院本科生畢業(yè)論文 18 1）詞典加載模塊：在進(jìn)行分詞時(shí)面對的是不同長度的詞，本文將同一首字下不同長度的詞放入不同的子字典，每個(gè)子字典的長度是相同的，形成了 2字詞表、 3字詞表??等，以鏈表方式存儲。本系統(tǒng)在吸收了最大正向匹配和最大正向匹配的基礎(chǔ)上，采用了雙向匹配的分詞策略，該算法的具體思想上是首先分別用最大正向匹配和最大逆向匹配進(jìn)行分詞，然后根據(jù)分詞的結(jié)果來進(jìn)行判斷采取用何種分詞結(jié)果。 （ 2） 在上文中提到，我們將詞典分為不同的子字典，每一個(gè)子字典的長度是相同的，因此對于一個(gè)完整的中文分詞系統(tǒng)來說，我們只有一個(gè)具體的大的詞典的數(shù)據(jù)庫，在數(shù)據(jù)庫里面存在著很多 的子詞典，這就要求我們提過了兩個(gè)方面的要求：首先，我們需要一個(gè)用來盛放子字典的容器，我們用鏈表來實(shí)現(xiàn)；其次，根據(jù)面向?qū)ο蟮乃枷?，我們需要抽象出一個(gè)類來表示子字典，因此我們在工程中再添加一個(gè)新的類，名稱為 SubDictionary,根據(jù)上文中提到的詞典機(jī)制，我們的 SubDictionary分別有長度，內(nèi)容等屬性。//獲得字典數(shù)據(jù)庫內(nèi)單詞長度的個(gè)數(shù)， 即字典數(shù)據(jù)庫內(nèi)有幾個(gè)子字典 int start = 0。 continue。//返回 List } （ 2） 逆向最大匹配的函數(shù)名稱是 segmentChnRToL，該函數(shù)接受一個(gè)參數(shù) String source，即要分詞的源文件，返回結(jié)果是一個(gè)分好詞的鏈表。 if ( == 0) return null。 }else{//找不到該字符串最大匹配長度減一 minReadLen。 } return list1。 } return result