cwmt20xx機(jī)器翻譯評測總結(jié)報(bào)告-文庫吧資料
2025-07-21 18:17本頁面
【正文】 不受限 9 評測結(jié)果： 英漢科技主系統(tǒng) 英漢科技主系統(tǒng) BLEU結(jié)果 英 漢 科 技 主 系 統(tǒng) 9 8 7 6 5 4 3 2 1 BLEU5 英 漢 科 技 主 系 統(tǒng) 7 5 4 3 9 8 6 2 1 BLEU5 不 受 限 受 限 單位 BLEU4 BLEU4SBP NIST5 GTM mWER mPER ICT 1 2 3 4 5 6 評測結(jié)果： 漢英新聞系統(tǒng)融合主系統(tǒng) 漢英新聞系統(tǒng)融合主系統(tǒng) BLEU結(jié)果 漢 英 新 聞 系 統(tǒng) 融 合 6 5 4 3 2 1 BLEU4 以規(guī)則方法為主 以統(tǒng)計(jì)方法為主 評測結(jié)果分析： 各主系統(tǒng)所用方法 漢英新聞 英漢新聞 英漢科技 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 9 9 9 10 10 11 11 12 評測結(jié)果分析 兩種方法在各項(xiàng)目中的平均 BLEU對比表明： 統(tǒng)計(jì)方法在英漢科技的 BLEU得分上優(yōu)勢明顯， 這一點(diǎn)也可以從隨后的 WoodPecker評測結(jié)果上看出來。 ? 體會 ：評測中最麻煩的問題莫過于格式和編碼 – 統(tǒng)一采用 UTF8編碼，但是： – 帶編碼 （ 如 utf8） 的文件在 Windows下復(fù)制到剪貼板上時(shí) （ 包括使用寫字版和UltraEdit） ， 很多符號如引號和連字符等都會被轉(zhuǎn)換成默認(rèn)的編碼方式 （ 如 ANSI編碼 ） ， 從而出現(xiàn)亂碼 。 ? 其中， 12個(gè)系統(tǒng)提交了 nbest結(jié)果， 5個(gè)系統(tǒng)提交了 1best結(jié)果 。CWMT2022機(jī)器翻譯評測 總結(jié)報(bào)告 中科院計(jì)算所 機(jī)器翻譯評測組 趙紅梅 謝軍 呂雅娟 劉群 2022年 11月 提綱 ● 概述 ● 參評單位和參評系統(tǒng) ● 評測語料 ● 評測流程 ● 評測方法 ● 評測結(jié)果 ● 評測結(jié)果分析 ● 總結(jié)和展望 概述 ● 機(jī)器翻譯核心技術(shù)的評測 ● 目的： 推進(jìn)機(jī)器翻譯技術(shù)的交流和發(fā)展 ● 15個(gè)參評單位 ● 2個(gè)語種方向（漢英、英漢） ● 兩種領(lǐng)域（新聞、科技），其中科技翻譯為 新增 項(xiàng)目 ● 新增 了漢英新聞系統(tǒng)融合項(xiàng)目 ● 新增 了 WoodPecker評測 ● 新增 了 BLEUSBP參考指標(biāo) 參評單位 ● 廈門大學(xué)人工智能研究所 ● 中國軟件與技術(shù)服務(wù)股份有限公司 ● 東北大學(xué)自然語言處理實(shí)驗(yàn)室 ● 中科院自動化研究所系統(tǒng) 1 ● 中科院自動化研究所系統(tǒng) 2 ● 北京邁創(chuàng)語通軟件有限公司 ● 北京賽迪翻譯技術(shù)有限公司 ● 中國科學(xué)院軟件研究所 ● 西安匯申軟件有限公司 ● 中科院計(jì)算技術(shù)研究所多語言交互技術(shù)研究室 ● 北京航空航天大學(xué)計(jì)算機(jī)學(xué)院智能信息處理研究所 ● 微軟亞洲研究院 ● 北京工業(yè)大學(xué) ● 哈爾濱工業(yè)大學(xué)機(jī)器智能與翻譯研究室 ● SYSTRAN Software, Inc 參評單位和系統(tǒng)數(shù)量 項(xiàng)目 受限 不受限 合計(jì) 單位 系統(tǒng) 單位 系統(tǒng) 單位 系統(tǒng) 漢英新聞翻譯 7 13 7 10 12 23 漢英新聞系統(tǒng)融合 6 10 英漢新聞翻譯 4 9 8 11 11 20 英漢科技翻譯 4 10 6 10 9 20 合計(jì) 15 73 評測語料 機(jī)器翻語譯料 ? 訓(xùn)練語料 ： 新聞、科技公共訓(xùn)練語料： 868,947句對； 科技獨(dú)有訓(xùn)練語料： 6
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1