搜索引擎開(kāi)發(fā)實(shí)踐基于概率語(yǔ)言模型的中文分詞(編輯修改稿)
2025-08-18 21:34 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 m。 切分詞圖 第 11頁(yè) “有意見(jiàn)分歧”生成的切分詞圖 意見(jiàn) 分歧 有意 分 見(jiàn) 意 有 0 1 2 3 4 5 路徑 1： 0－ 1－ 3－ 5 對(duì)應(yīng)切分方案 : 有 / 意見(jiàn) / 分歧 / 路徑 2： 0－ 2－ 3－ 5 對(duì)應(yīng)切分方案 : 有意 / 見(jiàn) / 分歧 / 計(jì)算最大概率等于求切分詞圖的最長(zhǎng)路徑 表示切分詞圖 切分詞圖的特點(diǎn)： ?邊比較少，所以是一個(gè)稀疏圖 (Sparse Graph)。稀疏圖一般用鄰接表表示。 ?需要找一個(gè)節(jié)點(diǎn)的前驅(qū)詞集合，所以用逆鄰接表表示。 逆鄰接表 (Inverse adjacency list) 意見(jiàn) 分歧 有意 分 見(jiàn) 意 有 0 1 2 3 4 5 0 / 0 1 / 1 2 3 4 5 1 / 3 / 3 / 切分詞圖 逆鄰接表 切分詞圖中的邊 切分詞圖中的邊都是詞典中的詞，邊的起點(diǎn)和終點(diǎn)分別是詞的開(kāi)始和結(jié)束位置 public class CnToken{ public String termText。//詞 public int start。//詞的開(kāi)始位置 public int end。//詞的結(jié)束位置 public int freq。//詞在語(yǔ)料庫(kù)中出現(xiàn)的頻率 public CnToken(int vertexFrom, int vertexTo, String word) { start = vertexFrom。 end = vertexTo。 termText = word。 } } 單向鏈表 public class CnTokenLinkedList implements IterableCnToken { public static class Node { public CnToken item。 public Node next。//記錄下一個(gè)對(duì)象 Node(CnToken item) { = item。 next = null。 } } private Node head。//頭對(duì)象 public CnTokenLinkedList() { head = null。 } pub
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1