【正文】 V 186。 N NP ART 186。 VP NP VP V 186。 N NP ART 186。 VP NP VP V 186。 N NP ART 186。 ADJ N 活動邊 非活動邊 1. SNP VP 2. NPART N 3. NPART ADJ N 4. VPV 5. VPV NP agenda 5 6 a mouse N NP(1,3) S NP 186。 ADJ N 活動邊 非活動邊 1. SNP VP 2. NPART N 3. NPART ADJ N 4. VPV 5. VPV NP N(2,3) agenda 5 6 a mouse N NP(1,3) “1 The 2 cat 3 caught 4 a 5 mouse 6”的分析過程 (算法 ) 1 2 3 4 The cat caught ART NP ART 186。 ADJ N 活動邊 非活動邊 1. SNP VP 2. NPART N 3. NPART ADJ N 4. VPV 5. VPV NP ART(1,2) agenda 5 6 a mouse “1 The 2 cat 3 caught 4 a 5 mouse 6”的分析過程 (算法 ) 1 2 3 4 The cat caught ART NP ART 186。 C的活動邊，若它在 p0p1之間，則把 X加入 agenda ，位置為： p0p2 Chart Parsing句法分析算法 “1 The 2 cat 3 caught 4 a 5 mouse 6”的分析過程 (算法 ) 1 2 3 4 The cat caught ART NP ART 186。 C...Xn的活動邊，若它在 p0p1之間，則增加一條 活動邊 ： XX1... C 186。 ADJ N 活動邊 非活動邊 1. SNP VP 2. NPART N 3. NPART ADJ N 4. VPV 5. VPV NP N(2,3) agenda 5 6 a mouse 重復(fù)下面的操作，直到 agenda為空并且輸入中沒有下一個(gè)詞 ? 若 agenda為空，則把句子中下一個(gè)詞的各種詞法符號（詞性）和它們的位置加入進(jìn)來， ? 從 agenda中取一個(gè)元素（設(shè)為 C，位置為： p1p2) ? 對下面形式的每個(gè)規(guī)則增加活動邊： ? XCX1...Xn，增加一條 活動邊 ： XC 186。N ? 待處理 表 （ agenda） ? 記錄等待加入 chart的已匹配成功的詞法 /句法符號 ? 上面的活動邊、非活動邊以及詞法 /句法符號都帶有“ 始 /終結(jié)點(diǎn) ” 位置 信息 “1 The 2 cat 3 caught 4 a 5 mouse 6”分析中的數(shù)據(jù)示例 1 2 3 4 The cat caught ART NP ART 186。）的產(chǎn)生式來表示，如： ? NP ART 186。 ? 一種基于圖的句法分析技術(shù)（ Chart Parsing）被提出，它把已經(jīng)匹配過的結(jié)果保存起來，今后需要時(shí)可直接使用它們，不必重新匹配。 2. 若當(dāng)前狀態(tài)為空，則失敗，算法結(jié)束， 3. 否則，若當(dāng)前狀態(tài)的符號表為空， (1)位置計(jì)數(shù)器值處于句子末尾，則成功，算法結(jié)束 (2)位置計(jì)數(shù)器值處于句子中間，轉(zhuǎn) 5 4. 否則，進(jìn)行 狀態(tài)轉(zhuǎn)換 ，若轉(zhuǎn)換成功，則轉(zhuǎn) 2 5. 否則， 回溯 ，轉(zhuǎn) 2。 ? 當(dāng)前狀態(tài)的符號表的第一個(gè)符號是句法符號 ， 則依據(jù)語法獲得所有以該符號為左部的產(chǎn)生式 ， 用它們的右部替換符號表中的該符號 ， 從而得到 一批新的狀態(tài) ， 選擇其中一個(gè)作為新的當(dāng)前狀態(tài) ， 其它作為后備狀態(tài) 。 初始狀態(tài)為： ((S) 1) ? 分為 當(dāng)前狀態(tài) 和 后備狀態(tài) 。 ? 從一個(gè)錯(cuò)誤的嘗試（改寫或規(guī)約）返回，進(jìn)行下一個(gè)嘗試。 ? 自底向上 ? 利用產(chǎn)生式，嘗試將輸入句子與產(chǎn)生式右部進(jìn)行匹配，最后規(guī)約 到 S。 ? 產(chǎn)生式 1～ 4屬于句法規(guī)則。 (詞典： 句法分析（ Parsing） ? 確定句子的組成（短語、短語或者詞之間的關(guān)系）。主要方法有： ? 正向最大匹配 (FMM)或逆向最大匹配 (RMM) ? 從左至右 (FMM)或從右至左 (RMM)，取最長的詞 ? “ 幼兒園 地 節(jié)目 ”或“ 幼兒 園地 節(jié)目 ” ? 雙向最大匹配 ? 分別采用 FMM和 RMM進(jìn)行分詞 ? 如果結(jié)果一致，則認(rèn)為成功；否則， ? 采用消歧規(guī)則進(jìn)行消歧（交集型歧義）： ? 正向最大、逆向最小匹配 ? 發(fā)現(xiàn)組合型歧義 ? 逐詞遍歷匹配 ? 在全句中取最長的詞，去掉之，對剩下字符串重復(fù)該過程 ? 設(shè)立切分標(biāo)記 ? 收集詞首字和詞尾字，把句子分成較小單位，再用某些方法切分 ? 全切分 ? 獲得所有可能的切分，選擇最大可能的切分 基于規(guī)則的歧義字段消歧方法 ? 利用歧義字串、前驅(qū)字串和后繼字串的句法、語義和語用信息： ? 句法信息 ? “ 陣風(fēng) ” ：根據(jù)前面是否有數(shù)詞來消歧。 ? 分詞是指根據(jù) 某個(gè)分詞規(guī)范 ，把一個(gè) “ 字 ” 串劃分成 “ 詞 ” 串。 ? 標(biāo)注體系 ? 標(biāo)注方法 詞性標(biāo)注體系 ? 詞的分類 ? 按形態(tài)和句法功能（句法相關(guān)性） ? 按表達(dá)的意思（語義相關(guān)性） ? 兼顧上述二者 ? 兼類詞 ? 一個(gè)詞具有兩個(gè)或者兩個(gè)以上的詞性 ? 英文的 Brown語料庫中， %的詞是兼類詞。 Proj. 1 實(shí)現(xiàn)一個(gè)英語單詞還原工具。如： ? friend,friendly,friendship,... ? 復(fù)合變化：多個(gè)單詞以某種方式組合成一個(gè)詞。 形態(tài)還原（英語） ? 構(gòu)詞特點(diǎn) ? 屈折變化：詞尾和詞形變化，詞性不變。 ? 詞性標(biāo)注 ? 為句子中的詞標(biāo)上預(yù)定義類別集合（標(biāo)注集）中的類。 ? Chomsky：先天語言能力，主宰 1960－ 1985 ? 基于語料庫和統(tǒng)計(jì)學(xué)習(xí)的經(jīng)驗(yàn)方法（ Empiricist approach） ? 以大規(guī)模語料庫（單語和雙語）為語言知識基礎(chǔ)。 自然語言處理的實(shí)現(xiàn)方法 ? 基于規(guī)則的理性方法（ Rationalist approach） ? 基于以規(guī)則形式表達(dá)的語言知識（詞、句法、語義以及轉(zhuǎn)換、生成）進(jìn)行推理。 ? 輿情分析：熱點(diǎn)事件發(fā)現(xiàn)、預(yù)警 ? 市場決策：產(chǎn)品意見調(diào)查、產(chǎn)品推薦 ? ...... 自動問答（ Question Answering， QA） ? 針對用戶提出的問題，給出具體的答案。 會前，農(nóng)工民主黨中央邀請參加 “ 兩會 ” 的來自全國各省、自治區(qū)、直轄市的農(nóng)工民主黨黨員進(jìn)行了聯(lián)誼活動。 會議研究通過了貫徹落實(shí) “ 兩會 ” 精神的有關(guān)決定，審議通過了中國農(nóng)工民主黨中央１９９８年工作要點(diǎn)（草案），并任命了中央副秘書長。 ? 對數(shù)據(jù)挖掘提供支持（文本挖掘）。 ? 倒排索引 ? google、百度、 ... 信息抽取 （ Information Extraction， IE） ? 主題相關(guān)的信息獲取。 ? 可用于 ? 圖書館的圖書分類 ? 信息過濾 ? ...... 信息檢索（ Information Retrieval， IR） ? 主題相關(guān)的文本獲取。 ? 文本機(jī)器翻譯 ? 語音機(jī)器翻譯 ? 機(jī)器 輔助 翻譯（ Machine Aided Translation或Computer Aided Translation，簡稱 MAT或 CAT） ? 翻譯記憶體（ Translation Memory，簡稱 TM） ? 雙語對照的文本編輯 ? ... 自動摘要（ Text Summarization） ? 利用計(jì)算機(jī)自動地從原始文檔中提取全面準(zhǔn)確地反映該文檔中心內(nèi)容的簡潔、連貫的短文。 ? 與 NLP相近的兩個(gè)研究領(lǐng)域： ? 自然語言理解 (Natural Language Understanding, NLU)：強(qiáng)調(diào)對語言含義和意圖的深層次解釋 ? 計(jì)算語言學(xué) (Computational Linguistics, CL)：強(qiáng)調(diào)可計(jì)算的語言理論 NLP技術(shù)的應(yīng)用 ? 機(jī)器翻譯 ? 自動摘要 ? 文本分類與信息過濾 ? 信息檢索 ? 信息抽取與文本挖掘 ? 情感分析 ? 自動問答 ? ...... 機(jī)器翻譯（ Machine Translation） ? 機(jī)器翻譯（ Machine Translation，簡稱 MT）是指利用計(jì)算機(jī)實(shí)現(xiàn)自然語言（英語、漢語等）之間的自動 翻譯。自然語言處理 Natural Language Processing(NLP) 陳家駿，戴新宇 主要內(nèi)容（ 1） ? 自然語言處理概述 ? 什么是自然語言處理 ? 自然語言處理技術(shù)的應(yīng)用 ? 自然語言處理的基本策略和實(shí)現(xiàn)方法 ? 自然語言處理的難點(diǎn) ? 自然語言處理所涉及的學(xué)科 ( ? 基于規(guī)則的自然語言處理方法（ 理性方法 ，傳統(tǒng)方法） ? 基于詞典和規(guī)則的形態(tài)還原（英語）、詞性標(biāo)注以及分詞（漢語、日語） ? 基于 CFG（上下文無關(guān)文法）和擴(kuò)充的 CFG（復(fù)雜特征集、合一運(yùn)算）的句法表示及其分析技術(shù) ? 基于邏輯形式和格語法的句義分析 ? 基于規(guī)則的機(jī)器翻譯 ( 主要內(nèi)容（ 2） ? 基于語料庫和統(tǒng)計(jì)學(xué)習(xí)的自然語言處理方法（ 經(jīng)驗(yàn)方法 ） ? 語言模型（ N元文法） ? 分詞、詞性標(biāo)注（序列化標(biāo)注模型） ? 句法分析（ 概率上下文無關(guān)模型 ） ? 文本分類（樸素貝葉斯模型、最大熵模型） ? 機(jī)器翻譯 (IBM Model等 ) 主要內(nèi)容（ 3） 所需的前導(dǎo)知識 ? 編譯技術(shù) ? 概率與統(tǒng)計(jì) 參考書籍 ? 宗成慶， 統(tǒng)計(jì)自然語言處理 ， 清華大學(xué)出版社 ， 2022 ? 劉群等譯， 自然語言理解（第二版） ，電子工業(yè)出版社， 2022 ? 苑春法等譯， 統(tǒng)計(jì)自然語言處理基礎(chǔ) ，電子工業(yè)出版社， 2022 ? 馮志偉等譯， 自然語言處理綜論 ，電子工業(yè)出版社， 2022 ? 黃昌寧等， 語料庫語言學(xué) ，商務(wù)印書館， 2022 ? 馮志偉， 計(jì)算語言學(xué)基礎(chǔ) ，商務(wù)印書館， 2022 ? 余士文， 計(jì)算語言學(xué)概論 ，商務(wù)印書館， 2022 ? 姚天順， 自然語言理解－－一種讓機(jī)器懂得人類語言的研究（第2版） ，清華大學(xué)出版社， 2022 ? 趙鐵軍等， 機(jī)器翻譯原理 ，哈爾濱工業(yè)大學(xué)出版社， 2022 ? 宗成慶等譯， 統(tǒng)計(jì)機(jī)器翻譯 ，電子工業(yè)出版社， 2022 ? Peter F. Brown, et al., A Statistical Approach to MT, Computational Linguistics, 1990,16(2) 課程考核 ? Projects ? 提交要求（每個(gè) project） ? 報(bào)告（說明基本做法） ? 源程序及可運(yùn)行的程序 自然語言處理概述 什么是自然語言處理 ? 充分利用信息將會給人們帶來巨大的收益，而大量的信息以 自然語言 （英語、漢語等）形式存在。 ? 如何 有效 地獲取和利用以 自然語言形式 出現(xiàn)的 信息？ ? 自然語言處理 （ Natural Language Processing，簡稱 NLP）是指用計(jì)算機(jī)對語言信息進(jìn)行處理的方法和技術(shù)。 ? 最早的計(jì)算機(jī)應(yīng)用之一，伴隨數(shù)字電子計(jì)算機(jī)的誕生。 ? 壓縮比 文本分類（ Text Classification） ?