cwmt20xx機(jī)器翻譯評(píng)測(cè)總結(jié)報(bào)告-展示頁(yè)
2025-07-24 18:17本頁(yè)面
【正文】 20,985句對(duì) 其中， 萬(wàn)方數(shù)據(jù)： 320,985句對(duì) 中信所語(yǔ)料： 300,000句對(duì)。 ? 6家單位參加了萬(wàn)方數(shù)據(jù)論文摘要句對(duì)齊語(yǔ)料的校對(duì) ? 測(cè)試語(yǔ)料 ： 新聞?wù)Z料按照分割日期規(guī)定均采自國(guó)內(nèi)外新聞網(wǎng)站； 所有測(cè)試集中均混入了 3倍的干擾集，真實(shí)測(cè)試集規(guī)模： 機(jī)器翻譯評(píng)測(cè)語(yǔ)料 句數(shù) 漢字?jǐn)?shù) /單詞數(shù) 制作單位 漢英新聞翻譯漢語(yǔ)語(yǔ)料 1006 41042 計(jì)算所 英漢新聞翻譯英語(yǔ)語(yǔ)料 1000 21767 計(jì)算所 英漢科技翻譯英語(yǔ)語(yǔ)料 1008 21339 中信所 ? 參考譯文 每句 4個(gè)參考譯文 4個(gè)以目標(biāo)語(yǔ)言為母語(yǔ)的翻譯者獨(dú)立翻譯 新聞的參考譯文由計(jì)算所制作，科技的參考譯文由中信所提供 系統(tǒng)融合語(yǔ)料 ? 訓(xùn)練語(yǔ)料 ? SSMT2022漢英新聞測(cè)試集、參考集和本次評(píng)測(cè)中 10家參評(píng)單位提交的 17個(gè)系統(tǒng)在 SSMT2022漢英新聞?wù)鎸?shí)測(cè)試語(yǔ)料上的翻譯結(jié)果（共 1,002句對(duì)） ? 測(cè)試語(yǔ)料 ? 以上 17個(gè)系統(tǒng)在 CWMT2022漢英新聞測(cè)試集上的翻譯結(jié)果。 ? 參考譯文 ? 同本次評(píng)測(cè)漢英新聞翻譯項(xiàng)目的參考集 評(píng)測(cè)語(yǔ)料 評(píng)測(cè)流程 ? 本次評(píng)測(cè)采用了網(wǎng)上評(píng)測(cè)的方式，流程如下： ? 8月 31日 評(píng)測(cè)組織方發(fā)放各個(gè)項(xiàng)目的訓(xùn)練數(shù)據(jù) ? 10月 8日 評(píng)測(cè)組織方發(fā)放新聞翻譯項(xiàng)目的測(cè)試數(shù)據(jù) ? 10月 10日 參評(píng)單位提交新聞翻譯項(xiàng)目的測(cè)試運(yùn)行結(jié)果和系統(tǒng)描述 ? 10月 13日 評(píng)測(cè)組織方發(fā)放英漢科技翻譯項(xiàng)目的測(cè)試數(shù)據(jù) ? 10月 15日 各參評(píng)單位提交英漢科技翻譯項(xiàng)目的測(cè)試運(yùn)行結(jié)果和系統(tǒng)描述 ? 10月 20日 評(píng)測(cè)組織方發(fā)放漢英系統(tǒng)融合項(xiàng)目的測(cè)試數(shù)據(jù) ? （ 即機(jī)器翻譯項(xiàng)目參評(píng)單位提交的運(yùn)行結(jié)果的匯總） ? 10月 22日 各參評(píng)單位提交漢英系統(tǒng)融合項(xiàng)目的測(cè)試運(yùn)行結(jié)果和系統(tǒng)描述 評(píng)測(cè)方法 ? 格式預(yù)處理 ： – 各系統(tǒng)翻譯的結(jié)果首先需要轉(zhuǎn)換為評(píng)測(cè)軟件能夠處理的內(nèi)部格式； – 此次評(píng)測(cè)的內(nèi)部格式更加接近 NIST評(píng)測(cè)格式； – 部分單位提交的結(jié)果格式不符合要求； ? 解決辦法 ：下次評(píng)測(cè)提供格式檢測(cè)程序！ ? 10月 22日收到提交結(jié)果后開(kāi)始進(jìn)行自動(dòng)評(píng)測(cè)， 10月 28日全部完成。 – 不能采用 utf 無(wú) BOM編碼：因其不識(shí)別英鎊符號(hào) ￡ 評(píng)測(cè)方法 ? 評(píng)測(cè)指標(biāo) ： 本次評(píng)測(cè)采用多種自動(dòng)評(píng)價(jià)指標(biāo)，包括： BLEU、 NIST、 GTM、 mWER、 mPER、 ICT ? 參考指標(biāo) ： BLEUSBP：采用修改 bp的 BLEU WoodPecker：提供基于檢測(cè)點(diǎn)的評(píng)測(cè)結(jié)果 以上指標(biāo)均為： – 大小寫(xiě)敏感的 – 中文的評(píng)測(cè)是基于字的，而不是基于詞的 評(píng)測(cè)方法： BLEUSBP ? 我們發(fā)現(xiàn)了 BLEU本身存在的問(wèn)題： ? 將測(cè)試結(jié)果中 2%的句子縮短為只有 12個(gè)單詞， BLEU值不變！ ? 用 BLEU進(jìn)行 A、 B兩個(gè)結(jié)果的 顯著性差異的符號(hào)檢驗(yàn)，發(fā)現(xiàn)： Base BLEU of the base system Contrast Better(%) Worse(%) 置信度 Significant A B Yes B A No A B Yes B A Yes 評(píng)測(cè)方法： BLEUSBP 解決： 采用 BLEUSBP指標(biāo) (David Chiang et al., 2022) BLEU vs. BLEUSBP ? 兩者的最大區(qū)別在于 bp ( brevity penalty)部分 ? 請(qǐng)參考 Deposability of Translation Metrics for Improved Evaluation and Efficient Algorithms, David Chiang, , EMNLP2022 評(píng)測(cè)方法 ： BLEUSBP 01 2 3 4 5 6 7 8 9 10 11 12BLEU4BLEU4SBP漢英新聞 12
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1