年bjut-mtg漢英機(jī)器翻譯系統(tǒng)技術(shù)報告-展示頁
2025-07-28 00:34本頁面
【正文】 分詞模塊 評測測試集文件 句子提取 解碼器 結(jié)果文件生成 評測結(jié)果文件 預(yù)處理 (1) ? 中文預(yù)處理 ? 分詞： SEGSDK (由 Mandel Shi開發(fā) ) ? A3全角字符到半角字符 : ＢＪＵＴ BJUT ? 英文預(yù)處理 ? 句首大寫字母的大小寫統(tǒng)計轉(zhuǎn)換 : We are – we are ? 標(biāo)點(diǎn)符號和單詞間的空格插入 : end. – end□ . ? 輸入： 評測所提供的部分訓(xùn)練語料 ? 輸出： 可用于詞語對齊的語料 預(yù)處理 (2) ? 切分標(biāo)注模塊 ? 由 Mandel Shi開發(fā) ? 支持 Win平臺和 Linux平臺 ? 漢字簡繁體輸入的切分、標(biāo)注和命名實體識別 ? 缺點(diǎn)：長句子會出錯，因此需要按標(biāo)點(diǎn)斷開長句為短句 ? 例： 2022年，中國化工工業(yè)保持穩(wěn)定增長。 2022年 ， 中國 化工 工業(yè) 保持 穩(wěn)定 增長 。 1:1 2:2 3:2 4:3 5:4 5:6 5:10 5:11 7:5 10:9 11:7 12:12 短語抽取 ? 用中科院計算所的 “ 絲路 ” ? 將獲取的對齊關(guān)系轉(zhuǎn)換成短語抽取要求的格式 ? 調(diào)用短語抽取工具進(jìn)行短語抽取
法律信息相關(guān)推薦
鄂ICP備17016276號-1