機(jī)器翻譯iimachinetranslationii(參考版)
2025-07-22 19:44本頁(yè)面
【正文】 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 63 基于 N元語(yǔ)法的機(jī)器翻譯評(píng)測(cè) 6 這種方法比較好地模擬了人對(duì)機(jī)器翻譯結(jié)果的評(píng)價(jià) –對(duì)于低質(zhì)量譯文比高質(zhì)量譯文的評(píng)價(jià)跟準(zhǔn)確； –評(píng)價(jià)結(jié)果與只懂目標(biāo)語(yǔ)言的人的評(píng)價(jià)結(jié)果更接近（相對(duì)于懂雙語(yǔ)的人而言） 優(yōu)點(diǎn) –全自動(dòng) –可以提供多種參考譯文綜合考慮，結(jié)果更全面 –容易構(gòu)造測(cè)試集，不需要專門(mén)知識(shí) 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 64 復(fù)習(xí)思考題 利用 《 圣經(jīng) 》 雙語(yǔ)語(yǔ)料庫(kù)實(shí)現(xiàn)一個(gè)詞語(yǔ)對(duì)齊系統(tǒng)，并從中抽取出一部包含多詞單元的雙語(yǔ)詞典。 )l o ge x p (1????Nnnn pwBPB L E U??????? rcifercifBPcr )/1(12022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 62 基于 N元語(yǔ)法的機(jī)器翻譯評(píng)測(cè) 5 其中 S S S3分別是三個(gè)不同的機(jī)器翻譯系統(tǒng)提供的譯文， H1和H2是兩個(gè)人類翻譯者提供的譯文。 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 61 基于 N元語(yǔ)法的機(jī)器翻譯評(píng)測(cè) 4 BLEU的總體評(píng)價(jià)公式如下： 其中， pn是出現(xiàn)在參考譯文中的 n元詞語(yǔ)接續(xù)組占候選譯文中 n元詞語(yǔ)接續(xù)組總數(shù)的比例， wn ＝ 1/N， N為最大的 n元語(yǔ)法階數(shù)（實(shí)際取 4）。 – 候選譯文： It is a guide to action which ensures that the military always obeys the mand of the party It is to insure the troops forever hearing the activity guidebook that party direct – 參考譯文： It is a guide to action that ensures that the military will forever heed party mands It is the guiding principle which guarantees the military forces always being under the mand of the party It is the practical guide for the army to heed the directions of the party 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 60 基于 N元語(yǔ)法的機(jī)器翻譯評(píng)測(cè) 3 兩個(gè)改進(jìn)： –對(duì)于候選譯文中某個(gè) n元接續(xù)組出現(xiàn)的次數(shù)，如果比參考譯文中出現(xiàn)的最大次數(shù)還多，要把多出的次數(shù)“剪掉”（不作為正確的匹配）。 – 這個(gè)指標(biāo)與單詞錯(cuò)誤率相比，允許語(yǔ)序的變化，不過(guò)又過(guò)于靈活。 – 由于語(yǔ)音識(shí)別的結(jié)果語(yǔ)序是不可變的，而機(jī)器翻譯的結(jié)果語(yǔ)序是可變的，顯然這個(gè)指標(biāo)存在一定的缺陷。 – 參考譯文：她是劇團(tuán)的明星。 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 41 詞語(yǔ)相似度模型 4 φ2方法：利用聯(lián)立表（ contingency table） φ2方法的效果比較好 Wt+ Wt Ws+ 31,950(a) 12,004(b) Ws 4,793(c) 848,330(d) 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 42 詞語(yǔ)相似度模型 5 對(duì)數(shù)似然比（ Log Likelihood Ratio,LLR ） 對(duì)數(shù)似然比在使用中比較有效，在訓(xùn)練語(yǔ)料庫(kù)規(guī)模較小時(shí)尤為明顯 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 43 詞語(yǔ)相似度模型 6 概念相似度 利用某種形式的義類詞典（ Thesaurus），計(jì)算兩個(gè)詞語(yǔ)對(duì)應(yīng)的概念之間的相似度 其中 d是概念 p p2之間的距離，一般用概念層次體系中兩個(gè)結(jié)點(diǎn)之間的距離來(lái)計(jì)算 α是一個(gè)可條件的參數(shù) 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 44 詞語(yǔ)相似度模型 7 《 同義詞詞林 》 的概念層次體系 虛線用于標(biāo)識(shí)某上層結(jié)點(diǎn)到下層結(jié)點(diǎn)的路徑 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 45 位置扭曲模型 1 絕對(duì)扭曲模型： IBM Model 2 l：源語(yǔ)言句子長(zhǎng)度 m：目標(biāo)語(yǔ)言句子長(zhǎng)度 i：源語(yǔ)言詞語(yǔ)位置 j：目標(biāo)語(yǔ)言詞語(yǔ)位置 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 46 位置扭曲模型 2 相對(duì)偏移模型 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 47 位置扭曲模型 3 基于 HMM的扭曲模型 –將每個(gè)對(duì)齊看作狀態(tài)，對(duì)齊位置之間的轉(zhuǎn)移是狀態(tài)的轉(zhuǎn)移，該對(duì)齊處的單詞對(duì)作為輸出?？紤]到漢字表意性，這種方法在計(jì)算漢語(yǔ)詞相似度時(shí)有較好的效果 計(jì)算漢語(yǔ)詞 c和英語(yǔ)詞 e的相似度： – 先用英語(yǔ)詞 e查英漢詞典，得到所有的漢語(yǔ)對(duì)譯詞； – 計(jì)算所有對(duì)譯詞和 c的戴斯系數(shù)，取其中的最大值。 Church根據(jù) UBS語(yǔ)料庫(kù)的統(tǒng)計(jì)結(jié)果： 2022年 8月 16日 7時(shí) 43分 語(yǔ)言信息處理 機(jī)器翻譯 II 30 基于長(zhǎng)度的句子對(duì)齊 5 最優(yōu)路徑的
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1