雙語(yǔ)語(yǔ)料庫(kù)段落重組對(duì)齊方法研究(更新版)
【正文】 HIT 5 目前的問題 ? 不同的對(duì)齊精度 ? 段落、句子、詞和短語(yǔ)的對(duì)齊 ? 上一級(jí)的對(duì)齊是下一級(jí)對(duì)齊的基礎(chǔ) ? 經(jīng)過統(tǒng)計(jì)發(fā)現(xiàn) 90%以上的電子文本中的段落并不對(duì)應(yīng)或者沒有明顯的段落標(biāo)記 Information Retrieval Lab HIT 6 段落對(duì)齊和段落重組對(duì)齊 ? 段落對(duì)齊是進(jìn)行對(duì)齊加工的第一步 ? 對(duì)段落對(duì)齊研究的很少 ? 段落對(duì)齊的目的是句子對(duì)齊 ? 段落重組對(duì)齊是打破原有的段落標(biāo)記，對(duì)篇章進(jìn)行重新分段，僅僅在形式上對(duì)篇章進(jìn)行對(duì)齊 Information Retrieval Lab HIT 7 句子對(duì)齊 ? 基于長(zhǎng)度的句子對(duì)齊 ? 長(zhǎng)句對(duì)應(yīng)的譯文長(zhǎng)，短句對(duì)應(yīng)譯文短 ? 根據(jù)長(zhǎng)度的不同 單詞個(gè)數(shù) Brown et al. (1991c) 字符的個(gè)數(shù) Gale and Church (1993) ? 基于詞典的句子對(duì)齊 Information Retrieval Lab HIT 8 段落重組對(duì)齊（ 1） ? 自動(dòng)分段對(duì)齊研究（中科院計(jì)算所） ? 將原有的段落合并 ? 通過漢英詞匯對(duì)之間的特征比較，包括詞的出現(xiàn)頻率、字節(jié)偏移量、出現(xiàn)間隔向量 ? 找到可以用于分段的錨點(diǎn)詞匯對(duì) ? 通過錨點(diǎn)詞所在句子的匹配獲得錨點(diǎn)句子進(jìn)行分段 Information Retrieval Lab HIT 9 段落重組對(duì)齊（ 2） ? 適合含有較多高頻固定詞的雙語(yǔ)文本 ? 適合于術(shù)語(yǔ)提取 ? 數(shù)據(jù)稀疏（較少高頻固定詞） ? 需要分詞等預(yù)處理 Information Retrieval Lab HIT 10 主要內(nèi)容 ? 引言 ? 方法 ? 結(jié)果 ? 討論 Information Retrieval Lab HIT 11 幾個(gè)概念 ? 錨點(diǎn) ? 句珠 ? 二分圖（完全二分圖） ? 匹配 ? 最優(yōu)對(duì)齊匹配 Information Retrieval Lab HIT 12 錨點(diǎn)和句珠 ? 錨點(diǎn) (anchor) ? Brown在對(duì) Hansard語(yǔ)料庫(kù)進(jìn)行對(duì)齊時(shí)，引入了錨點(diǎn)的概念，認(rèn)為錨點(diǎn)的作用就是將整個(gè)語(yǔ)料庫(kù)分成一些小的對(duì)齊片斷 ? 句珠 (Sentence bead) ? 每一對(duì)相對(duì)應(yīng)的句子稱作句珠 Information Retrieval Lab HIT 13 二分圖 ? 設(shè) G為無(wú)向圖， G=V， E，結(jié)點(diǎn)集 V有兩個(gè)子集 V1， V2滿足 V1 ∪ V2＝ V，V1∩ V2＝ ф，使 G的每一條邊 e∈ E時(shí)，e={vi,vj}， vi∈ V1,vj∈ V2，即同一子集Vi(i＝ l， 2)中的任何兩個(gè)結(jié)點(diǎn)都不鄰接，稱這樣的圖為二分圖。 + a(Pd[i,j] P0)178。許多人都提出這樣的問題，‘ 接下來(lái)我們?cè)撟鍪裁矗?’ 。組織者邁克 格倫威利，希望通過這次行動(dòng)向政府傳達(dá)人們反對(duì)商業(yè)化種植基因改良作物的意愿。. ? We hope others will follow our lead and find other ways to express how we feel. ? We do not want GM crops planted in the country at all. ? 約 30名人士在英國(guó)蘇塞克斯郡東部的福利斯勞的一處牧場(chǎng)裸體組成 “ 反對(duì)基因改良作物 ” 的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1