cwmt20xx機(jī)器翻譯評測總結(jié)報(bào)告(編輯修改稿)
2024-08-11 18:17 本頁面
【文章內(nèi)容簡介】 EU5SBP BLEU6 NIST6 NIST7 GTM mWER mPER ICT 不受限 1 不受限 2 不受限 3 受限 4 不受限 5 受限 6 不受限 7 受限 8 受限 9 不受限 10 不受限 11 評測結(jié)果： 英漢新聞主系統(tǒng) 英漢新聞主系統(tǒng) BLEU結(jié)果 英 漢 新 聞 主 系 統(tǒng) 11 10 9 8 7 6 5 4 3 2 1 BLEU5 英 漢 新 聞 主 系 統(tǒng) 9 8 6 4 11 10 7 5 3 2 1 BLEU5 不 受 限 受 限 受限情況 單位 BLEU5 BLEU5SBP BLEU6 NIST6 NIST7 GTM mWER mPER ICT 不受限 1 不受限 2 受限 3 受限 4 受限 5 不受限 6 受限 7 不受限 8 不受限 9 評測結(jié)果： 英漢科技主系統(tǒng) 英漢科技主系統(tǒng) BLEU結(jié)果 英 漢 科 技 主 系 統(tǒng) 9 8 7 6 5 4 3 2 1 BLEU5 英 漢 科 技 主 系 統(tǒng) 7 5 4 3 9 8 6 2 1 BLEU5 不 受 限 受 限 單位 BLEU4 BLEU4SBP NIST5 GTM mWER mPER ICT 1 2 3 4 5 6 評測結(jié)果： 漢英新聞系統(tǒng)融合主系統(tǒng) 漢英新聞系統(tǒng)融合主系統(tǒng) BLEU結(jié)果 漢 英 新 聞 系 統(tǒng) 融 合 6 5 4 3 2 1 BLEU4 以規(guī)則方法為主 以統(tǒng)計(jì)方法為主 評測結(jié)果分析： 各主系統(tǒng)所用方法 漢英新聞 英漢新聞 英漢科技 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 9 9 9 10 10 11 11 12 評測結(jié)果分析 兩種方法在各項(xiàng)目中的平均 BLEU對比表明： 統(tǒng)計(jì)方法在英漢科技的 BLEU得分上優(yōu)勢明顯， 這一點(diǎn)也可以從隨后的 WoodPecker評測結(jié)果上看出來。 BLEU 統(tǒng)計(jì) 規(guī)則 漢英新聞 BLEU4 英漢新聞 BLEU5 英漢科技 BLEU5 結(jié)論：科技翻譯很適合于使用統(tǒng)計(jì)機(jī)器翻譯方法 ? 系統(tǒng)融合的最好結(jié)果僅比單系統(tǒng)的最好結(jié)果 BLEU值高出 ，比預(yù)想的要差得多 ? 原因還沒有弄明白 評測結(jié)果分析 ? MSRA在漢英新聞不受限項(xiàng)目上優(yōu)勢明顯 ? 與去年 SSMT2022評測相比， HIT、 NEU等單位進(jìn)步非常大 ? 基于規(guī)則的系統(tǒng)表現(xiàn)比想象的好 評測結(jié)果分析 評測方法： WoodPecker ? WoodPecker是微軟亞洲研究院開發(fā)的基于檢測點(diǎn)的評測工具 – 基于語言學(xué)分類的檢測工具 – 檢測點(diǎn)自動抽取 – 可以提供詞級、短語級以及句級的評價(jià)指標(biāo) ? 下載地址 : 9a9a74a14a5566a7c7919b4a/ word Phrase Sentence Verb Checkpoints NP Checkpoints Noun Checkpoints …… …… “BA” sentence Checkpoints
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1