中科院自動化所評測技術報告樣本-文庫吧
2025-02-07 13:01 本頁面
【正文】 本次評測的系統(tǒng)仍然沿用和分層短語相同的文法 vDSS解碼算法的輸入是一棵樹，而不是一個串，所以線圖是按照樹節(jié)點來索引的，而不是按照串中的跨距 (span)來建立索引的v 解碼時使用了 8個特征，最后兩個為依存子樹的懲罰167。 雙向短語翻譯概率 p(e/f)和 p(f/e)167。 雙向詞匯化概率 l(e/f)和 l(f/e)167。 4gram語言模型167。 句子長度懲罰167。 符合依存子樹懲罰167。 不符合依存子樹懲罰中國科學院自動化所Institute of Automation, Chinese Academy of Sciences技術說明 前后處理v前處理167。 時間，數(shù)字處理模塊167。 地名，人名，機構名處理模塊167。 英文轉(zhuǎn)化為小寫167。 預處理? 亂碼過濾（中文中的亂碼、英文中的亂碼以及包含中文詞的句子）? 標點符號及數(shù)字變換（中文中的部分標點符號、英文中的雙字節(jié)符號及數(shù)字）? 英文縮寫處理? 中文分詞、英文 Tokenizationv后處理167。 大小寫轉(zhuǎn)換：未翻譯詞保留其原始格式167。 格式轉(zhuǎn)換：去除中文中的空格167。 未登錄詞中國科學院自動化所Institute of Automation, Chinese Academy of Sciences技術說明 系統(tǒng)融合 [6][7]中國科學院自動化所Institute of Automation, Chinese Academy of Sciences技術說明 外部技術v 漢語分詞工具：計算所開發(fā)的 v 雙語詞對齊工具： GIZA++v 語言模型訓練工具： SRILM工具包v 英文詞性標注工具： Stanford Loglinear PartOfSpeech Taggerv 英文依存樹分析工具： MinimumSpanning Tree Parser (MSTparser)中國科學院自動化所Insti
醫(yī)療健康相關推薦
鄂ICP備17016276號-1