搜索引擎開發(fā)實踐基于概率語言模型的中文分詞(文件)
【正文】 b = nodeProb。 for(int i=()。 意見 分歧 有意 分 見 意 有 0 1 2 3 4 5 作業(yè) ，實現(xiàn)地名切分，例如 北京市 / 海淀區(qū) / 學院路 感謝您對獵兔搜索的支持 ! 。i=prevNode[i]) // 從右向左取最佳節(jié)點 { (i)。 prevNode[i] = maxID。 double nodeProb = prob[] + () logN。//節(jié)點概率 //計算 節(jié)點 i的最佳前驅節(jié)點，以及它的最大概率 void getBestPrev(AdjList g,int i){ IteratorCnToken it = (i)。 比如上面的例子中 ， 節(jié)點 1的前驅詞集合是候選詞 “ 有 ” ， 節(jié)點 3的前驅詞集合是 “ 意見 ” 和 “ 見 ” 。 (new CnToken(i,j,1,(i,j)))。//到詞典中查詢，返回從指定位置開始的所有詞 if (match)//已經匹配上 { for (String word:) {//把查詢到的詞作為邊加入切分詞圖中 j = i+()。 return ()。 index++) { list[index] = new CnTokenLinkedList()。 } } 鄰接表表示的切分詞圖 public class AdjList { private CnTokenLinkedList list[]。 = head。 next = null。 termText = word。//詞的開始位置 public int end。稀疏圖一般用鄰接表表示。 ?從切分詞圖中尋找概率最大的詞序列，對應于從有向無環(huán)帶正權重的圖中找最長路徑。 為了避免向下溢出，取 log的計算結果： log P(S1) = log P(有 ) + log P(意見 ) + log P(分歧 ) = log P(S2) = log P(有意 ) + log P(見 ) + log P(分歧 ) = log P(S1) log P(S2) 詞語 概率 … … 有 有意 意見 見 分歧 … … 與最大長度匹配分詞的區(qū)別 如果每個詞出現(xiàn)的概率都相同，則現(xiàn)在的分詞方法退化成最少詞數(shù)的分詞。 根據(jù)貝葉斯公式：
環(huán)評公示相關推薦
鄂ICP備17016276號-1