搜索引擎開發(fā)實踐基于概率語言模型的中文分詞(專業(yè)版)
【正文】 } } prob[i] = maxProb。 }else{//沒有匹配上 j = i+1。 } public IteratorCnToken iterator() {//疊代器 return new LinkIterator(head)。//詞 public int start。 統(tǒng)計語言模型的中文分詞 從統(tǒng)計思想的角度來看，分詞問題的輸入是一個字串 C= 輸出是一個詞串 S= 對于一個特定的字符串 C，會有多個切分方案 S對應，分詞的任務就是在這些 S中找出概率最大的一個。搜索引擎開發(fā)實踐 第五講基于概率語言模型的中文 分詞 主講人： 羅剛 概 述 ?作業(yè)講解：遍歷 Trie樹 ?概率語言模型分詞原理 ?形成切分詞圖 ?動態(tài)規(guī)劃算法求解最佳切分路徑 ?作業(yè)：實現(xiàn)地名切分 作業(yè)講解：遍歷 Trie樹 //深度遍歷 public void deepSearch(ArrayListTrieNode parentNodes,TrieNode node, StringBuilder ret, int deapth) { if (node != null) { for (int i = 0。 根據(jù)貝葉斯公式： 其中 P(C)是字串在語料庫中出現(xiàn)的概率，只是一個用來歸一化的固定值。//詞的開始位置 public int end。 } } 鄰接表表示的切分詞圖 public class AdjList { private CnTokenLinkedList list[]。 (new CnToken(i,j,1,(i,j)))。 prevNode[i] = maxID。 maxProb = nodeProb。 } i=。 } public Node getHead() { return head。 逆鄰接表 (Inverse adjacency list) 意見 分歧 有意 分 見 意 有 0 1 2 3 4 5 0 / 0 1 / 1 2 3 4 5 1 / 3 / 3 / 切分詞圖 逆鄰接表 切分詞圖中的邊 切分詞圖中的邊都是詞典中的詞，邊的起點和終點分別是詞的開始和結束位置 public class CnToken{ public St
環(huán)評公示相關推薦
鄂ICP備17016276號-1