漢語(yǔ)分詞-展示頁(yè)
2024-10-24 08:52本頁(yè)面
【正文】 何面向大規(guī)模開放應(yīng)用是漢語(yǔ)分詞研究亟待解決的主要問(wèn)題 ? 如何識(shí)別未登錄詞 ? 如何低廉地獲取語(yǔ)言學(xué)知識(shí) ? 詞語(yǔ)邊界歧義處理 ? 實(shí)時(shí)性應(yīng)用中的效率問(wèn)題 漢語(yǔ)分詞 6 分詞歧義 ? 交集型切分歧義 ? 組合型切分歧義 漢語(yǔ)分詞 7 交集型切分歧義 ? 漢字串 AJB被稱作交集型切分歧義 ， 如果滿足 AJ、 JB同時(shí)為詞 (A、 J、 B分別為漢字串 )。 ? [例 ] “結(jié)合成分子 ” ? 結(jié)合 | 成 分 |子 | ? 結(jié)合 |成 |分子 | ? 結(jié) | 合成 |分子 | ? [例 ] “美國(guó)會(huì) 通過(guò)對(duì)臺(tái)售武法案 ” ? [例 ] “乒乓球拍賣 完了 ” 漢語(yǔ)分詞 8 組合型切分歧義 ? 漢字串 AB被稱作組合型切分歧義 ， 如果滿足條件： A、 B、 AB同時(shí)為詞 ? [例 ]組合型切分歧義： “ 起身 ” ? 他站 | 起 | 身 | 來(lái) 。 漢語(yǔ)分詞 9 “真歧義 ” 和 “ 偽歧義 ” ? 真歧義指存在兩種或兩種以上的可實(shí)現(xiàn)的切分形式，如句子 “ 必須 /加強(qiáng) /企業(yè) /中 /國(guó)有 /資產(chǎn) /的 /管理 /”和 “ 中國(guó) /有 /能力 /解決 /香港 /問(wèn)題 /”中的字段 “ 中國(guó)有 ”是一種真歧義 ? 偽歧義一般只有一種正確的切分形式，如 “ 建設(shè) /有 ” 、 “ 中國(guó) /人民 ” 、 “ 各 /地方 ” 、 “ 本 /地區(qū) ” 等 漢語(yǔ)分詞 10 未登錄詞 ? 雖然一般的詞典都能覆蓋大多數(shù)的詞語(yǔ)，但有相當(dāng)一部分的詞語(yǔ)不可能窮盡地收入系統(tǒng)詞典中，這些詞語(yǔ)稱為 未登錄詞 或 新詞 ? 分類： ? 專有名詞 ： 中文人名、地名、機(jī)構(gòu)名稱、外國(guó)譯名、時(shí)間詞 ? 重疊詞： “ 高高興興 ” 、 “ 研究研究 ” ? 派生詞： “ 一次性 用品 ” ? 與領(lǐng)域相關(guān)的術(shù)語(yǔ)： “ 互聯(lián)網(wǎng) ” 漢語(yǔ)分詞 11 分詞規(guī)范 ? 詞是自然語(yǔ)言的一種客觀存在 ? 漢語(yǔ)書寫過(guò)程中并不分詞連寫，對(duì)詞組和詞、單字語(yǔ)素和單字詞的劃分 因人而異 ，甚至 因時(shí)而異 ? 漢語(yǔ)信息處理現(xiàn)在需要制訂統(tǒng)一的分詞標(biāo)準(zhǔn)，否則將嚴(yán)重影響計(jì)算機(jī)的處理 ? 《 信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范及自動(dòng)分詞方法 》 ：結(jié)合緊密、使用頻繁 漢語(yǔ)分詞 12 具體的分詞標(biāo)準(zhǔn)實(shí)例 ? 二字或三字詞，以及結(jié)合緊密、使用穩(wěn)定的：發(fā)展 可愛(ài) 紅旗 對(duì)不起 自行車 青霉素 ? 四字成語(yǔ)一律為分詞單位： 胸有成竹 欣欣向榮 四字詞或結(jié)合緊密、使用穩(wěn)定的四字詞組 :社會(huì)主義 春夏秋冬 由此可見(jiàn) ? 五字和五字以上的諺語(yǔ)、格言等，分開后如不違背原有組合的意義，應(yīng)予切分 : 時(shí)間 /就 /是 /生命 / 失敗 /是 /成功 /之 /母 漢語(yǔ)分詞 13 具體的分詞標(biāo)準(zhǔn)實(shí)例 ? 結(jié)合緊密、使用穩(wěn)定的詞組則不予切分 :不管三七二十一 ? 慣用語(yǔ)和有轉(zhuǎn)義的詞或詞組，在轉(zhuǎn)義的語(yǔ)言環(huán)境下，一律為分詞單位 : 婦女能頂 /半邊天 / 他真小氣，象個(gè) /鐵公雞 / ? 略語(yǔ)一律為分詞單位 :科技 奧運(yùn)會(huì) 工農(nóng)業(yè) ? 分詞單位加形成兒化音的“兒” :花兒 悄悄兒 玩兒 漢語(yǔ)分詞 14 具體的分詞標(biāo)準(zhǔn)實(shí)例 ? 阿拉伯?dāng)?shù)字等，仍保留原有形式 :1234 7890 ? 現(xiàn)代漢語(yǔ)中其它語(yǔ)言的漢字音譯外來(lái)詞，不予切分 :巧克力 吉普 ? 不同的語(yǔ)言環(huán)境中的同形異構(gòu)現(xiàn)象，按照具體語(yǔ)言環(huán)境的語(yǔ)義進(jìn)行切分 : 把 /手 /抬起來(lái) 這個(gè) /把手 /是木制的 漢語(yǔ)分詞 15 常見(jiàn)的動(dòng)詞分詞規(guī)范 ? 動(dòng)詞前的否定副詞一律單獨(dú)切分 :不 /
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1