基于語料庫的工作(編輯修改稿)
2024-11-17 10:23 本頁面
【文章內(nèi)容簡介】 嚴(yán)守一把手機(jī)關(guān)上 — 嚴(yán)守一 把 手機(jī) 關(guān)上 –德語中大多數(shù)的詞語有空格分割，但是復(fù)合名詞寫成單獨(dú)的詞 ?Lebensversicherungsgesellschaftsangestellter 人身保險(xiǎn)公司的雇員 – database – data base harddisk – hard disk 2020/11/17 中文信息處理 基于語料庫的工作 20 標(biāo)記化：什么是一個(gè)詞 ?非詞語分界的空格 – data base – database, 9365 1873 – 93651873 – New York, San Francisco –如果和連字符一起出現(xiàn)，問題就更加復(fù)雜了 ?the New York – New Haven Railroad –習(xí)慣搭配形成的詞 ?Work out – I couldn’t work the answer out. 2020/11/17 中文信息處理 基于語料庫的工作 21 標(biāo)記化：什么是一個(gè)詞 電話號(hào)碼 國家 電話號(hào)碼 國家 0171 378 0647 UK +45 43 48 60 60 Denmark ( 830 1007) UK 9551279648 Pakistan +44 (0) 1225 753678 UK +411/284 3797 Switzerland 01256 468661 UK (941) 866854 Sri Lanka (202) 5222239 USA +49 69 1362 98 05 Germany 19252253000 USA 33 1 34 43 32 36 France USA ++31205202061 The Netherlands 2020/11/17 中文信息處理 基于語料庫的工作 22 詞法 ?詞干化 –去除詞綴只留詞干的過程 – operatingoperate, putingpute ?詞干化的優(yōu)點(diǎn) –對(duì)詞的各種變化形式進(jìn)行歸類，減少了詞的數(shù)目 –意味著一定水平上的詞義消歧 ?Lying—lie, lay（臥倒） lie, lied（欺騙） 2020/11/17 中文信息處理 基于語料庫的工作 23 詞法 ? 詞干化中的問題 – 詞干化會(huì)浪費(fèi)一些信息 ? operating system—operate system ? business—busy – 詞法分析把詞切分成詞次，但是有的時(shí)候把密切相關(guān)的信息組合到一起是有意義的 ? 保衛(wèi)祖國 —保衛(wèi) 祖國 – 公民有 保衛(wèi)祖國 ,依法服兵役的義務(wù) – 保衛(wèi) 社會(huì)主義建設(shè) ,戰(zhàn)斗在 祖國 邊疆及各個(gè)崗位上 – 英語中只有很少的詞態(tài)，所以對(duì)其進(jìn)行詞態(tài)處理不是很有必要。而其它語言中，進(jìn)行詞態(tài)處理可能會(huì)有很大的意義 ? 芬蘭語，每個(gè)動(dòng)詞有百萬種變化形式 2020/11/17 中文信息處理 基于語料庫的工作 24 句子 ? 句子：以一個(gè) “ 。 ” 、 “ ， ” 、 “ ！ ” 或者 “ ？ ”結(jié)尾的內(nèi)容。 90%的情況都是這樣 – 句子可能會(huì)被其它的分隔符號(hào)切分開 (., : 。 ) – 句子的順序可能會(huì)被打亂 ? “ You should be here,” she said, “before I know it!” – 引號(hào)可能在句子的最后一個(gè)標(biāo)點(diǎn)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1