搜索引擎開(kāi)發(fā)實(shí)踐基于概率語(yǔ)言模型的中文分詞-免費(fèi)閱讀
【正文】 i0。//候選最佳前驅(qū)節(jié)點(diǎn) while(()) { CnToken itr = ()。 )w(P*)))w(S t a r t N o d e(P(=)w, . . . ,w,w(P=)N o d e(P jj)N o d e(p r e vwi21m a xi m a x ij∈如果 Wj的結(jié)束節(jié)點(diǎn)是 Nodei，就稱(chēng) Wj為 Nodei的前驅(qū)詞 這里的 prev(Nodei)就是節(jié)點(diǎn) i的前驅(qū)詞集合。){//遍歷整個(gè)句子長(zhǎng)度 boolean match = (sentence, i, wordMatch)。 index verticesNum。 } public void put(CnTokenInf item) { Node n = new Node(item)。 end = vertexTo。 切分詞圖 第 11頁(yè) “有意見(jiàn)分歧”生成的切分詞圖 意見(jiàn) 分歧 有意 分 見(jiàn) 意 有 0 1 2 3 4 5 路徑 1： 0－ 1－ 3－ 5 對(duì)應(yīng)切分方案 : 有 / 意見(jiàn) / 分歧 / 路徑 2： 0－ 2－ 3－ 5 對(duì)應(yīng)切分方案 : 有意 / 見(jiàn) / 分歧 / 計(jì)算最大概率等于求切分詞圖的最長(zhǎng)路徑 表示切分詞圖 切分詞圖的特點(diǎn)： ?邊比較少，所以是一個(gè)稀疏圖 (Sparse Graph)。因此： n21 w,...,w,wm21 c,...,c,c( ) ( ) ( ))C(P SPS|CPm a xa r g=)C|S(Pm a xa r g=cS e g SS G∈G∈( ) )S(Pm a xa rg=cSe g S G∈計(jì)算 P(S) )w(Pl o g+...+)w(P+)w(P)w(P...)w(P)w(P)w, . . . ,w,w(P=)S(P n21n21n21 l ogl og∝≈獨(dú)立性假設(shè)，一元語(yǔ)法 N nwwP ii 語(yǔ)料庫(kù)中的總詞數(shù)在語(yǔ)料庫(kù)中的出現(xiàn)次數(shù)?)(假設(shè)每個(gè)詞之間的概率是上下文無(wú)關(guān)的 Nlo g)F re qlo g (=)w(Plo g wi 為了避免向下溢出，取 log 最大似然法估計(jì)詞語(yǔ)的概率： 計(jì)算最大概率 C: 有意見(jiàn)分歧 ?S1: 有 / 意見(jiàn) / 分歧 / ?S2: 有意 / 見(jiàn) / 分歧 / P(S1) = P(有 ) * P(意見(jiàn) ) * P(分歧 ) = 109 P(S2) = P
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1