現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典的開(kāi)發(fā)與應(yīng)用-資料下載頁(yè)
2025-08-04 18:03本頁(yè)面
【正文】 階段是分化同音字或同音詞，表現(xiàn)在書(shū)面上則是將拼音序列轉(zhuǎn)換為漢字序列。這是語(yǔ)言信息處理的任務(wù)。采用拼音方式從鍵盤(pán)上輸入中文所要解決的問(wèn)題也是拼音序列到漢字序列的轉(zhuǎn)換。假定，給定拼音序列 Zhuo1zi5 shang4 you3 yi1 jin1 pi2pa5。 (6) 這里，全拼音節(jié)后的數(shù)字1，2，3，4，5分別代表陰平、陽(yáng)平、上聲、去聲、輕聲。由于“pi2pa5”對(duì)應(yīng)兩個(gè)同音詞“琵琶”和“枇杷”，某些系統(tǒng)轉(zhuǎn)換出 桌子上有一斤琵琶 。 (7) 是不足為怪的。但如果利用語(yǔ)法詞典，則可以查到每一個(gè)具體的名詞可能與哪些子類(lèi)的量詞以及哪些具體的量詞相適配。與“琵琶”相適配的只有個(gè)體量詞“把”，而“枇杷”卻是可以與度量詞“斤”相適配的。根據(jù)語(yǔ)法詞典提供的這些信息，系統(tǒng)就可以修正(7)，從而得到“桌子上有一斤枇杷”。又假定系統(tǒng)已確認(rèn)對(duì)應(yīng)“jiayi”的詞是“加以”，接著輸入“yanjiu”。沒(méi)有更多的信息，系統(tǒng)很難判定對(duì)應(yīng)“yanjiu”的是“煙酒”還是“研究”。如果利用語(yǔ)法詞典，則知道“加以”是形式動(dòng)詞，只能帶準(zhǔn)謂詞性賓語(yǔ)，不會(huì)帶體詞性賓語(yǔ)，因此在“加以”的制約下，對(duì)應(yīng)“yanjiu”的只能是“研究”而不會(huì)是“煙酒”。 漢字識(shí)別的后校正現(xiàn)在脫機(jī)(offline)漢字識(shí)別技術(shù)對(duì)“師”這個(gè)模式通常給出“師、怖、帥”等若干個(gè)候選字。如果沒(méi)有上下文，孤立地決定選取哪一個(gè)字是困難的。但如果在上下文“三個(gè)師的士兵”中，“師”的前后都是筆劃較少、較易辨認(rèn)的字，并且已經(jīng)唯一地確定下來(lái)了，則只有“師”這個(gè)名詞可以與個(gè)體量詞“個(gè)”相適配。在現(xiàn)代漢語(yǔ)中，“帥”與“怖”只是語(yǔ)素，不能獨(dú)立成詞，一般不會(huì)與“個(gè)”相適配。因此，系統(tǒng)就會(huì)很有信心地從3個(gè)候選字中選擇“師”。 語(yǔ)料庫(kù)標(biāo)注北大計(jì)算語(yǔ)言學(xué)研究所開(kāi)發(fā)漢語(yǔ)語(yǔ)料庫(kù)多級(jí)加工系統(tǒng)CCMP的經(jīng)驗(yàn)表明，進(jìn)行語(yǔ)料庫(kù)標(biāo)注，采取基于規(guī)則的方法與基于統(tǒng)計(jì)的方法相結(jié)合的策略是恰當(dāng)?shù)?，并且切分與標(biāo)注同步進(jìn)行是合理的[9]。在進(jìn)行這種標(biāo)注時(shí)，語(yǔ)法詞典可以發(fā)揮重要的作用。詞典中的數(shù)以萬(wàn)計(jì)的詞都已經(jīng)劃好了類(lèi)，對(duì)標(biāo)注的正確性與一致性可以起到基本的保證作用。標(biāo)注程序只需集中力量解決兼類(lèi)詞的歧義消解及未登錄詞的確認(rèn)與詞性判定。利用純粹的統(tǒng)計(jì)方法進(jìn)行詞類(lèi)標(biāo)注，也需要有人先對(duì)一部分語(yǔ)料進(jìn)行手工標(biāo)注（即對(duì)系統(tǒng)進(jìn)行訓(xùn)練）。由于存在不同的語(yǔ)法體系，由于不同的人會(huì)有不同的認(rèn)識(shí)，即使同一個(gè)人的認(rèn)識(shí)也會(huì)發(fā)展變化，所以由人直接標(biāo)注語(yǔ)料難免出現(xiàn)不一致性。例如，對(duì)于主賓語(yǔ)位置上的謂詞(動(dòng)詞、形容詞等)有可能被標(biāo)為謂詞，也有可能被標(biāo)為名詞。這樣就會(huì)影響自動(dòng)標(biāo)注的正確率。依靠這部語(yǔ)法詞典，就不會(huì)發(fā)生這種情況。而且，標(biāo)注了詞性的語(yǔ)料庫(kù)與語(yǔ)法信息詞典相結(jié)合，可以構(gòu)成立體的知識(shí)庫(kù)，即從語(yǔ)料中的詞/詞性入口，可以迅速檢索到該詞的諸多語(yǔ)法特性，從而為進(jìn)一步的分析或標(biāo)注提供豐富的知識(shí)。5. 后記本項(xiàng)研究雖然已取得了可觀的階段性成果，但要做的工作還很多。本課題組決心持之以恒，繼續(xù)推進(jìn)這項(xiàng)研究。本項(xiàng)研究自始至終是在陳力為院士的關(guān)心與支持下進(jìn)行的?？傮w組的多位專家（如袁琦、董振東、黃昌寧等）及各合作單位都給過(guò)北大計(jì)算語(yǔ)言學(xué)研究所多種形式的支持與鼓勵(lì)。在此一并致以衷心的謝意。陸儉明與郭銳兩位先生起了重要的顧問(wèn)作用。北大計(jì)算語(yǔ)言學(xué)研究所的張蕓蕓、郭濤、周強(qiáng)、陶曉鵬、詹衛(wèi)東、周莉娜等人或者是在詞典本身的開(kāi)發(fā)中或者是在詞典的應(yīng)用中都為本項(xiàng)研究貢獻(xiàn)了力量。參考文獻(xiàn)[1] 俞士汶，中文輸入中語(yǔ)法分析技術(shù)的應(yīng)用,《中文信息學(xué)報(bào)》，1988年，第二卷，第三期，PP20－26 [2] 俞士汶，現(xiàn)代漢語(yǔ)詞語(yǔ)信息庫(kù)開(kāi)發(fā)工作介紹提綱，《計(jì)算機(jī)開(kāi)發(fā)與應(yīng)用》，1989年，第五卷第二期， PP16－18[3] 陳力為，建立應(yīng)用開(kāi)發(fā)平臺(tái)是中文信息處理技術(shù)的當(dāng)務(wù)之急，《計(jì)算機(jī)世界》，1992年1月8日，第2期第5版[4] Zhengdong Dong , 中國(guó)中文信息處理平臺(tái)工程項(xiàng)目與漢語(yǔ)研究，Communications of COLIPS, Volume 3, Number 2, 79~88,1993. [5] 俞士汶，朱學(xué)鋒，郭銳，現(xiàn)代漢語(yǔ)語(yǔ)法電子詞典的概要與設(shè)計(jì)，第三屆中文信息處理國(guó)際會(huì)議論文集（ICCIP’92），PP186－191[6] 俞士汶，信息處理用現(xiàn)代漢語(yǔ)詞語(yǔ)分類(lèi)體系介紹，計(jì)算語(yǔ)言學(xué)教學(xué)參考資料（北大計(jì)算語(yǔ)言所1993年7月編），PP35－57 ，其摘要“關(guān)于現(xiàn)代漢語(yǔ)詞語(yǔ)的語(yǔ)法功能分類(lèi)”刊載于《中國(guó)計(jì)算機(jī)報(bào)》，1994年5月31日第73版至第75版[7] 王惠，朱學(xué)鋒，《現(xiàn)代漢語(yǔ)語(yǔ)法電子詞典》的收詞原則，《中國(guó)計(jì)算機(jī)報(bào)》，1994年5月31日第79版至第83版[8] 朱學(xué)鋒，王惠，張蕓蕓，現(xiàn)代漢語(yǔ)語(yǔ)法電子詞典中量詞與名詞的子類(lèi)劃分，《中國(guó)計(jì)算機(jī)報(bào)》，1994年5月31日第79版[9] 周強(qiáng)，俞士汶，一個(gè)人機(jī)共生的漢語(yǔ)語(yǔ)料庫(kù)多級(jí)加工處理系統(tǒng)CCMP，《計(jì)算語(yǔ)言學(xué)進(jìn)展與應(yīng)用》，清華大學(xué)出版社，1995年11月，PP50～55本文刊登在新加坡《中文與東方語(yǔ)言信息處理學(xué)會(huì)通訊》，1995年第2期，PP81～86
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1