中科院自動(dòng)化所評(píng)測(cè)技術(shù)報(bào)告樣本-免費(fèi)閱讀
【正文】 由于缺乏這方面的語料資源，我們只能借用新聞?lì)I(lǐng)域的語料，利用數(shù)據(jù)過濾技術(shù)得到相關(guān)資源167。 3個(gè)來自于基于分層短語的翻譯系統(tǒng) (HPB)167。 科技 CWMT08提供的 Special部分語料，約 52萬句對(duì)； NIST MT08評(píng)測(cè)提供語料，大約 670萬句對(duì) v 語言模型訓(xùn)練數(shù)據(jù)：167。 英文轉(zhuǎn)化為小寫167。 雙向短語翻譯概率 p(e/f)和 p(f/e)167。 句子長度懲罰167。 基于依存樹到串系統(tǒng)167。 前后處理167。 短語懲罰167。 雙向詞匯化概率 l(e/f)和 l(f/e)167。 預(yù)處理? 亂碼過濾（中文中的亂碼、英文中的亂碼以及包含中文詞的句子）? 標(biāo)點(diǎn)符號(hào)及數(shù)字變換（中文中的部分標(biāo)點(diǎn)符號(hào)、英文中的雙字節(jié)符號(hào)及數(shù)字）? 英文縮寫處理? 中文分詞、英文 Tokenizationv后處理167。 LDC2023T38提供的 Chinese Gigaword Third Edition，約 3900萬句中國科學(xué)院自動(dòng)化所Institute of Automation, Chinese Academy of Sciences數(shù)據(jù)過濾v過濾的原則：根據(jù) LDC語料中的當(dāng)前句對(duì)中的所有詞匯是否在發(fā)布的訓(xùn)練語料詞匯集合中 (周玉 ) v新聞?lì)I(lǐng)域167。 3個(gè)來自于基于依存樹到串的翻譯系統(tǒng) (DHPB)中國科學(xué)院自動(dòng)化所Institute of Automation, Chinese Academy of Sciences測(cè)試結(jié)果v科技領(lǐng)域167。 但由于在選取開發(fā)集時(shí)，其規(guī)模和相關(guān)性受到制約，所以最后的參數(shù)訓(xùn)練并不能有效得收斂到最優(yōu)167。 并且針對(duì)英文的特點(diǎn)，在解碼中融入句法分析樹，在不增加時(shí)空復(fù)雜度的前提下提高了翻譯質(zhì)量 v科技領(lǐng)域167。 采用基于 MBR解碼和混淆網(wǎng)絡(luò)解碼的多系統(tǒng)融合策略，融合 6個(gè)結(jié)果167。 新聞 CWMT08提供的 Common，約 85萬句對(duì)和；
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1