【正文】 ，允許語序的變化，不過又過于靈活。 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 55 基于測(cè)試點(diǎn)的機(jī)器翻譯評(píng)測(cè) 1 俞士汶等，機(jī)器翻譯譯文質(zhì)量自動(dòng)評(píng)估系統(tǒng)，中國中文信息學(xué)會(huì) 1991年論文集， pp. 314～ 319 基本思想 –對(duì)于每一個(gè)句子，孤立測(cè)試點(diǎn)，簡(jiǎn)化測(cè)試目標(biāo)（模擬人類標(biāo)準(zhǔn)化考試的辦法） –對(duì)于每一個(gè)句子，采用一種 TDL語言描述的BNF去與譯文匹配，匹配成功則正確，否則錯(cuò)誤 –大批量出題，全面評(píng)價(jià)機(jī)器翻譯譯文質(zhì)量 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 56 基于測(cè)試點(diǎn)的機(jī)器翻譯評(píng)測(cè) 2 測(cè)試點(diǎn)分組： 單詞、詞組、詞法、語法（初、中、高級(jí)） 測(cè)試點(diǎn)示例： –源文： I am a student. –測(cè)試：譯文中出現(xiàn)“學(xué)生 /大學(xué)生”為正確 –源文： I bought a table with three dollars. –測(cè)試：“買”出現(xiàn)在“美元”之后為正確 –源文： I bought a table with three legs. –測(cè)試：“買”出現(xiàn)在“腿”之前為正確 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 57 基于測(cè)試點(diǎn)的機(jī)器翻譯評(píng)測(cè) 3 優(yōu)點(diǎn)： –全自動(dòng) –實(shí)驗(yàn)證明，評(píng)價(jià)結(jié)果是可信的 –可以按照人類專家的要求進(jìn)行單項(xiàng)評(píng)測(cè) 缺點(diǎn) –題庫的構(gòu)造需要具有專門知識(shí)的專家，并且成本較高 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 58 基于 N元語法的機(jī)器翻譯評(píng)測(cè) 1 Kishore Papineni, Salim Roukos, Todd Ward, WeiJing Zhu, Bleu: a Method for Automatic Evaluation of Machine Translation, IBM Research, RC22176 (W0109022) September 17, 2022 基本思想 –用譯文中出現(xiàn)的 N元組和參考譯文中出現(xiàn)的 N元組相比，計(jì)算匹配的 N元組個(gè)數(shù)與候選譯文的 N元組總個(gè)數(shù)的比例 –允許一個(gè)源文有多個(gè)參考譯文，綜合評(píng)分 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 59 基于 N元語法的機(jī)器翻譯評(píng)測(cè) 2 源文：黨指揮槍是我黨的行動(dòng)指南。 – 候選譯文： It is a guide to action which ensures that the military always obeys the mand of the party It is to insure the troops forever hearing the activity guidebook that party direct – 參考譯文： It is a guide to action that ensures that the military will forever heed party mands It is the guiding principle which guarantees the military forces always being under the mand of the party It is the practical guide for the army to heed the directions of the party 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 60 基于 N元語法的機(jī)器翻譯評(píng)測(cè) 3 兩個(gè)改進(jìn)： –對(duì)于候選譯文中某個(gè) n元接續(xù)組出現(xiàn)的次數(shù)，如果比參考譯文中出現(xiàn)的最大次數(shù)還多，要把多出的次數(shù)“剪掉”（不作為正確的匹配）。 –為了避免“召回率”過低的問題， BLEU的評(píng)價(jià)標(biāo)準(zhǔn)又對(duì)比參考譯文更短的句子設(shè)計(jì)了“懲罰因子”。 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 61 基于 N元語法的機(jī)器翻譯評(píng)測(cè) 4 BLEU的總體評(píng)價(jià)公式如下： 其中， pn是出現(xiàn)在參考譯文中的 n元詞語接續(xù)組占候選譯文中 n元詞語接續(xù)組總數(shù)的比例， wn ＝ 1/N， N為最大的 n元語法階數(shù)（實(shí)際取 4）。 其中 c為候選譯文中單詞的個(gè)數(shù)， r為參考譯文中與 c最接近的譯文單詞個(gè)數(shù)。 )l o ge x p (1????Nnnn pwBPB L E U??????? rcifercifBPcr )/1(12022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 62 基于 N元語法的機(jī)器翻譯評(píng)測(cè) 5 其中 S S S3分別是三個(gè)不同的機(jī)器翻譯系統(tǒng)提供的譯文， H1和H2是兩個(gè)人類翻譯者提供的譯文。藍(lán)線是 BLEU系統(tǒng)評(píng)測(cè)的結(jié)果，紅線是只懂目標(biāo)語言的人類專家提供的評(píng)測(cè)結(jié)果，綠線是同時(shí)懂源語言和目標(biāo)語言的人類專家提供的評(píng)測(cè)結(jié)果。 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 63 基于 N元語法的機(jī)器翻譯評(píng)測(cè) 6 這種方法比較好地模擬了人對(duì)機(jī)器翻譯結(jié)果的評(píng)價(jià) –對(duì)于低質(zhì)量譯文比高質(zhì)量譯文的評(píng)價(jià)跟準(zhǔn)確； –評(píng)價(jià)結(jié)果與只懂目標(biāo)語言的人的評(píng)價(jià)結(jié)果更接近（相對(duì)于懂雙語的人而言） 優(yōu)點(diǎn) –全自動(dòng) –可以提供多種參考譯文綜合考慮，結(jié)果更全面 –容易構(gòu)造測(cè)試集，不需要專門知識(shí) 2022年 8月 16日 7時(shí) 43分 語言信息處理 機(jī)器翻譯 II 64 復(fù)習(xí)思考題 利用 《 圣經(jīng) 》 雙語語料庫實(shí)現(xiàn)一個(gè)詞語對(duì)齊系統(tǒng)，并從中抽取出一部包含多詞單元的雙語詞典。