cwmt20xx機器翻譯評測總結(jié)報告-資料下載頁
2025-07-15 18:17本頁面
【正文】 T:Noun T:Pron S:Verb S:DicPrep S:AmbiWord 評測結(jié)果分析 在 漢英新聞 領(lǐng)域，在源語言的“搭配”、“介詞”兩個檢測點上，統(tǒng)計翻譯系統(tǒng)顯示出一定優(yōu)勢： 評測結(jié)果分析 在 漢英新聞 領(lǐng)域 ，“ 成語” 測試點上，基于規(guī)則的系統(tǒng)則表現(xiàn)更好： 評測結(jié)果分析 在 英漢新聞 領(lǐng)域， “ 介詞” 和 “詞典介詞” 兩個檢測點，基于規(guī)則的系統(tǒng)占優(yōu)： 在 英漢新聞 領(lǐng)域，源語言的 “數(shù)詞短語 ”測試點上，基于規(guī)則的翻譯系統(tǒng)結(jié)果較好： 評測結(jié)果分析 評測結(jié)果分析 各項目 WoodPecker評測中總分前五名的結(jié)果顯示：在 英漢新聞 領(lǐng)域，基于規(guī)則的系統(tǒng)在這種基于語言學分類的檢測點評測中顯示了一定的優(yōu)勢： 漢英新聞 5 6 4 10 1 英漢新聞 2 1 3 5 7 英漢科技 2 3 4 7 1 漢英新聞系統(tǒng)融合 5 3 2 1 6 總結(jié)和展望 總結(jié) ： 從準備到結(jié)束歷時半年，期間細節(jié)之繁瑣非一個“累”字了得！ 所幸評測中的小 “閃失” 都得到了糾正，更有幸都得到了大家的諒解！ ? 改進之處： 更加詳盡的評測大綱 增加了科技翻譯評測 增加了系統(tǒng)融合評測 引入 BLEUSBP，并進行了顯著性檢驗 引入 WoodPecker！ 展望： 交流、溝通、進步！ ? 下次評測怎么做？ – 項目設(shè)置 ? 詞語對齊？ ? 系統(tǒng)融合？ ? 科技翻譯？ ? 其他？ – 訓練語料 – 評測指標 – 組織方式 總結(jié)和展望 致謝 ? 感謝為此次評測提供訓練數(shù)據(jù)的單位，他們是（按拼音順序排列）： – 北京大學計算語言學研究所 – 哈爾濱工業(yè)大學信息檢索實驗室 （無償） – 哈爾濱工業(yè)大學機器智能與翻譯研究室 – 萬方數(shù)據(jù)公司 – 廈門大學 – 中國科學技術(shù)信息研究所 （無償） – 中國科學院計算技術(shù)研究所 – 中國科學院自動化研究所 ? 感謝為此次評測中提供測試數(shù)據(jù)的單位，他們是（按拼音順序排列）： – 中國科學技術(shù)信息研究所 （無償）特別感謝！ – 中國科學院計算技術(shù)研究所 ? 本次 WoodPecker評測的全過程中，得到了 微軟亞洲研究院自然語言計算組的 張冬冬、李沐 的鼎立協(xié)助，在此深表感謝！ ? 感謝本次評測組織工作的主要承擔者付出的艱辛勞動： 趙紅梅、謝軍 ！ 參考文獻 ? David Chiang, Steve DeNeefe, Yee Seng Chan and Hwee Tou Ng. Deposability of Translation Metrics for Improved Evaluation and Efficient Algorithms. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pages 610619, Honolulu, October 2022. 169。2022 Association for Computational Linguistics ? Ming Zhou, Bo Wang, Shujie Liu, Mu Li, Dongdong Zhang, Tiejun Zhao. Diagnostic Evaluation of Machine Translation Systems Using Automatically Constructed Linguistic CheckPoints. Coling 2022. ? Natural Language Computing Group, Microsoft Research Asia. Manual for WoodPecker: A Linguistic Evaluation Platform for MT Systems a556d6a7c7919b4a/ ? Michael Collins, Philipp Koehn, and Ivona Kuˇcerov180。. Clause restructuring for statistical machine translation. In Proc. ACL 2022, pages 531–540. 傾聽意見和建議 謝謝 !
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1