中科院自動(dòng)化所評(píng)測(cè)技術(shù)報(bào)告(systemii)(存儲(chǔ)版)
【正文】 (f/e) ? 雙向詞匯化概率 l(e/f)和 l(f/e) ? 4gram語(yǔ)言模型 ? 句子長(zhǎng)度懲罰 ? 符合依存子樹懲罰 ? 不符合依存子樹懲罰 中國(guó)科學(xué)院自動(dòng)化所 Institute of Automation, Chinese Academy of Sciences 技術(shù)說(shuō)明 前后處理 ?前處理 ? 時(shí)間，數(shù)字處理模塊 ? 地名，人名，機(jī)構(gòu)名處理模塊 ? 英文轉(zhuǎn)化為小寫 ? 預(yù)處理 ? 亂碼過(guò)濾（中文中的亂碼、英文中的亂碼以及包含中文詞的句子） ? 標(biāo)點(diǎn)符號(hào)及數(shù)字變換（中文中的部分標(biāo)點(diǎn)符號(hào)、英文中的雙字節(jié)符號(hào)及數(shù)字） ? 英文縮寫處理 ? 中文分詞、英文 Tokenization ?后處理 ? 大小寫轉(zhuǎn)換：未翻譯詞保留其原始格式 ? 格式轉(zhuǎn)換：去除中文中的空格 ? 未登錄詞 中國(guó)科學(xué)院自動(dòng)化所 Institute of Automation, Chinese Academy of Sciences 技術(shù)說(shuō)明 系統(tǒng)融合 [6][7] MT1MTm……N b e s tN b e s tMB R 解碼器對(duì)齊參考GIZ A ++ 詞對(duì)齊GIZ A TER混淆網(wǎng)絡(luò)CN 解碼中國(guó)科學(xué)院自動(dòng)化所 Institute of Automation, Chinese Academy of Sciences 技術(shù)說(shuō)明 外部技術(shù) ? 漢語(yǔ)分詞工具：計(jì)算所開發(fā)的 ? 雙語(yǔ)詞對(duì)齊工具： GIZA++ ? 語(yǔ)言模型訓(xùn)練工具： SRILM工具包 ? 英文詞性標(biāo)注工具： Stanford Loglinear PartOfSpeech Tagger ? 英文依存樹分析工具： MinimumSpanning Tree Parser (MSTparser) 中國(guó)科學(xué)院自動(dòng)化所 Institute of Automation, Chinese Academy of Sciences 參評(píng)系統(tǒng) CASIA_SYSTEM II 原 始 語(yǔ)料C A S I A 預(yù) 處理 模 塊L M S R I 工 具包4 g r a m L M雙 語(yǔ) 語(yǔ) 料G I Z A + +C A S I A 短 語(yǔ) 抽 取與 概 率 計(jì) 算作 為 I n i t
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1