搜索引擎開發(fā)實(shí)踐基于概率語言模型的中文分詞(更新版)
【正文】 v(AdjList g,int i){ IteratorCnToken it = (i)。 (new CnToken(i,j,1,(i,j)))。 return ()。 } } 鄰接表表示的切分詞圖 public class AdjList { private CnTokenLinkedList list[]。 next = null。//詞的開始位置 public int end。 ?從切分詞圖中尋找概率最大的詞序列，對應(yīng)于從有向無環(huán)帶正權(quán)重的圖中找最長路徑。 根據(jù)貝葉斯公式： 其中 P(C)是字串在語料庫中出現(xiàn)的概率，只是一個(gè)用來歸一化的固定值。 ArrayListTrieNode parentNodes = new ArrayListTrieNode()。搜索引擎開發(fā)實(shí)踐 第五講基于概率語言模型的中文 分詞 主講人： 羅剛 概 述 ?作業(yè)講解：遍歷 Trie樹 ?概率語言模型分詞原理 ?形成切分詞圖 ?動(dòng)態(tài)規(guī)劃算法求解最佳切分路徑 ?作業(yè)：實(shí)現(xiàn)地名切分 作業(yè)講解：遍歷 Trie樹 //深度遍歷 public void deepSearch(ArrayListTrieNode parentNodes,TrieNode node, StringBuilder ret, int deapth) { if (node != null) { for (int i = 0。//遞歸調(diào)用 } } } //打印樹狀圖 public String toString() { StringBuilder ret = new StringBuilder()。 統(tǒng)計(jì)語言模型的中文分詞 從統(tǒng)計(jì)思想的角度來看，分詞問題的輸入是一個(gè)字串 C= 輸出是一個(gè)詞串 S= 對于一個(gè)特定的字符串 C，會(huì)有多個(gè)切分方案 S對應(yīng)，分詞的任務(wù)就是在這些 S中找出概率最大的一個(gè)。 ?邊代表詞，邊的權(quán)重是詞的概率。//詞 public int start。//記錄下一個(gè)對象 Node(CnToken item) { = item。 } public IteratorCnToken iterator() {//疊代器 return new LinkIterator(head)。 if(ll == null) return null。 }else{//沒有匹配上 j = i+1。 //最佳前驅(qū)節(jié)點(diǎn) double[] prob。 } } prob[i] = maxPr
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1