【正文】 10月 23日 6時 9分 語言信息處理 機器翻譯 I 48 基于語料庫的機器翻譯方法 優(yōu)點 –使用語料庫作為翻譯知識來源，無需人工編寫規(guī)則，系統(tǒng)開發(fā)成本低，速度快 –從語料庫中學習到的知識比較客觀 –從語料庫中學習到的知識覆蓋性比較好 缺點 –系統(tǒng)性能依賴于語料庫 –數(shù)據(jù)稀疏問題嚴重 –語料庫中不容易活動大顆粒度的高概括性知識 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 49 基于實例的機器翻譯（ 1） 長尾真 (Makoto Nagao)在 1984年發(fā)表了 《 采用類比原則進行日英機器翻譯的一個框架 》 一文，探討日本人初學英語時翻譯句子的基本過程，長尾真認為，初學英語的日本人總是記住一些最基本的英語句子以及一些相對應的日語句子，他們要對比不同的英語句子和相對應的日語句子，并由此推論出句子的結(jié)構(gòu)。參照這個學習過程，在機器翻譯中，如果我們給出一些英語句子的實例以及相對應的日語句子，機器翻譯系統(tǒng)來識別和比較這些實例及其譯文的相似之處和相差之處，從而挑選出正確的譯文。 長尾真指出，人類并不通過做深層的語言學分析來進行翻譯，人類的翻譯過程是：首先把輸入的句子正確地分解為一些短語碎片，接著把這些短語碎片翻譯成其它語言的短語碎片，最后再把這些短語碎片構(gòu)成完整的句子，每個短語碎片的翻譯是通過類比的原則來實現(xiàn)的。 因此，我們應該在計算機中存儲一些實例，并建立由給定的句子找尋類似例句的機制，這是一種由實例引導推理的機器翻譯方法，也就是基于實例的機器翻譯。 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 50 基于實例的機器翻譯（ 2） 在基于實例的機器翻譯系統(tǒng)中，系統(tǒng)的主要知識源是雙語對照的翻譯實例庫，實例庫主要有兩個字段，一個字段保存源語言句子，另一個字段保存與之對應的譯文，每輸入一個源語言的句子時，系統(tǒng)把這個句子同實例庫中的源語言句子字段進行比較，找出與這個句子最為相似的句子，并模擬與這個句子相對應的譯文，最后輸出譯文。 基于實例的機器翻譯系統(tǒng)中，翻譯知識以實例和義類詞典的形式來表示，易于增加或刪除，系統(tǒng)的維護簡單易行，如果利用了較大的翻譯實例庫并進行精確的對比，有可能產(chǎn)生高質(zhì)量譯文，而且避免了基于規(guī)則的那些傳統(tǒng)的機器翻譯方法必須進行深層語言學分析的難點。在翻譯策略上是很有吸引力的。 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 51 基于實例的機器翻譯（ 3） 優(yōu)點 –直接使用對齊的語料庫作為知識表示形式，知識庫的擴充非常簡單 –不需要進行深層次的語言分析，也可以產(chǎn)生高質(zhì)量的譯文 缺點 –覆蓋率低，實用的系統(tǒng)需要的語料庫規(guī)模極大（百萬句對以上） 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 52 基于實例的機器翻譯系統(tǒng)結(jié)構(gòu) 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 53 基于實例的機器翻譯－舉例 要翻譯句子： (E1) He bought a book on physics. 在語料庫中查到相似英語句子及其漢語譯文是： (E2) He wrote a book on history. (C2) 他寫了一本關于歷史的書。 比較 (E1)和 (E2)兩個句子，我們得到變換式： (T1) replace (wrote, bought) and replace (history, physics) 將這個變換式中的單詞都換成漢語就變成： (T2) replace(寫 ,買 ) and replace(歷史 ,物理 ) 將 (T2)作用于 (C2) (C1)他買了一本關于物理學的書。 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 54 基于實例的機器翻譯 需要研究的問題 正確地進行雙語自動對齊 (alignment)：在實例庫中要能準確地由源語言例句找到相應的目標語言例句，在基于實例的機器翻譯系統(tǒng)的具體實現(xiàn)中，不僅要求句子一級的對齊，而且還要求詞匯一級甚至短語一級的對齊。 建立有效的實例匹配檢索機制：很多研究者認為，基于實例的機器翻譯的潛力在于充分利用短語一級的實例碎片，也就是在短語一級進行對齊，但是，利用的實例碎片越小，碎片的邊界越難于確定，歧義情況越多，從而導致翻譯質(zhì)量的下降，為此，要建立一套相似度準則(similarity metric)，以便確定兩個句子或者短語碎片是否相似。 根據(jù)檢索到的實例生成與源語言句子相對應的譯文：由于基于實例的機器翻譯對源語言的分析比較粗，生成譯文時往往缺乏必要的信息，為了提高譯文生成的質(zhì)量，可以考慮把基于實例的機器翻譯與傳統(tǒng)的基于規(guī)則的機器翻譯方法結(jié)合起來，對源語言也進行一定深度的分析。 開展淺層句法分析 (shallow parsing)的研究：淺層句法分析以建立語段 (chunk)之間的依附關系為目標，進行語段的識別，分析語段之間的依附關系。由于分析的語言單位的顆粒度比較大，歧義就比較少，有利于提高雙語對齊的準確度。 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 55 基于實例的機器翻譯系統(tǒng) MBT1和 MBT2系統(tǒng)：由日本京都大學長尾真和佐藤研制。該系統(tǒng)的翻譯過程分為分解 (deposition)、轉(zhuǎn)換 (transfer)、合成(position)三步。在分解階段，系統(tǒng)根據(jù)提交的源語言詞匯依存樹檢索實例庫，并利用檢索到的實例碎片來表示該源語言句子的依存樹，形成源匹配表達式；在轉(zhuǎn)換階段，系統(tǒng)利用實例庫中的對齊信息將源匹配表達式轉(zhuǎn)換成目標匹配表達式；在合成階段，將目標匹配表達式展開成為目標語言詞匯依存樹，輸出譯文。 PANGLOSS系統(tǒng)：由美國卡內(nèi)基 梅隆大學研制，這是一個多引擎機器翻譯系統(tǒng) (Multiengine Machine Translation)。這個系統(tǒng)的主要引擎是基于知識的機器翻譯系統(tǒng)，基于實例的機器翻譯系統(tǒng)只是它的一個引擎，為整個多引擎機器系統(tǒng)提供候選結(jié)果。 ETOC和 EBMT系統(tǒng)：由日本口語翻譯通信研究實驗室 ATR研制。ETOC系統(tǒng)能夠檢索出與給定的源語言句子相似的實例， EBMT系統(tǒng)能夠利用實例庫來消解歧義，這兩個基于實例的機器翻譯系統(tǒng)還不完整。 我國清華大學計算機系的基于實例的日漢機器翻譯系統(tǒng)。 2022年 10月 23日 6時 9分 語言信息處理 機器翻譯 I 56 復習思考題 訪問一些知名的網(wǎng)上翻譯網(wǎng)站，直觀了解機器翻譯 – SYSTRAN Homepage – WordLingo – 看世界 嘗試寫一些規(guī)則，將英語句子“ He wrote a book on history.”翻譯成漢語句子“他寫了一本關于歷史的書?！? 寫一個程序?qū)崿F(xiàn)英語數(shù)字、漢語數(shù)字和阿拉伯數(shù)字之間的互譯 寫一個程序?qū)崿F(xiàn)英語和漢語之間時間表達式的互譯