【正文】 .....................................4 系統(tǒng)分布結(jié)構(gòu) ......................................................5 本文內(nèi)容簡(jiǎn)介 ..........................................................52 信息抽取模塊的設(shè)計(jì) ........................................................7 模塊內(nèi)部結(jié)構(gòu) ..........................................................7 串行化的模塊內(nèi)部結(jié)構(gòu)及其問題 ......................................7 簡(jiǎn)化的高性能信息抽取模型 ..........................................8 自動(dòng)分詞 ..............................................................9 詞類自動(dòng)標(biāo)注 .........................................................103 信息抽取的關(guān)鍵算法 .......................................................13 傳統(tǒng)語(yǔ)言學(xué)方法 .......................................................13 基于規(guī)則的信息抽取算法 ...........................................13 基于規(guī)則信息抽取面臨的嚴(yán)峻問題 ...................................15 統(tǒng)計(jì)學(xué)方法 ...........................................................16 基于語(yǔ)料庫(kù)的統(tǒng)計(jì)語(yǔ)言學(xué)方法 .......................................16 隱馬爾科夫模型（HMM）簡(jiǎn)介 ........................................16 隱馬爾科夫模型（HMM）在信息抽取上的應(yīng)用 ..........................17 隱馬爾科夫模型的訓(xùn)練與優(yōu)化問題 ...................................194 實(shí)現(xiàn)與結(jié)果分析 ...........................................................20 模塊實(shí)現(xiàn)情況 .........................................................20 兩種信息抽取方法的比較 ...............................................21 結(jié)果總結(jié) .............................................................21 遺留的問題 ...........................................................22參考文獻(xiàn) .....................................................................23致謝 .........................................................................24申請(qǐng)上海交通大學(xué)學(xué)士學(xué)位論文11 概述 信息抽取技術(shù)（Information Extraction）信息技術(shù)高速發(fā)展的時(shí)代中，信息的獲取、處理和應(yīng)用已經(jīng)成為了經(jīng)濟(jì)、科學(xué)、軍事、文化等各個(gè)領(lǐng)域發(fā)展的關(guān)鍵活動(dòng)。而其中，信息的獲取是三個(gè)步驟的開端，在信息技術(shù)領(lǐng)域中具有尤其重要的地位。近年來，隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，各領(lǐng)域可及信息量呈指數(shù)級(jí)增長(zhǎng)。如何高效獲取有用信息成為有效利用信息的關(guān)鍵。信息抽取（Information Extraction，簡(jiǎn)稱 IE）技術(shù)，是自然語(yǔ)言處理領(lǐng)域中一種新興的技術(shù)。該技術(shù)通過抽取、過濾無(wú)關(guān)信息，使文本信息以用戶關(guān)心的形式得以再組織，實(shí)現(xiàn)高效重組。將結(jié)構(gòu)松散的自然語(yǔ)言信息，通過抽取轉(zhuǎn)為結(jié)構(gòu)嚴(yán)謹(jǐn)、語(yǔ)義明確的表現(xiàn)形式，利用計(jì)算機(jī)進(jìn)行高效存儲(chǔ)并加以利用。 信息抽取技術(shù)的發(fā)展信息抽取技術(shù)的雛形最早出現(xiàn)在二十年前。下面介紹一些信息抽取發(fā)展上重要的研究成果以及國(guó)內(nèi)外的研究現(xiàn)狀 [7]。? ATRANS 系統(tǒng)ATRANS 系統(tǒng)是早在 1981 年由 Cowie 研究出來關(guān)于動(dòng)植物正規(guī)結(jié)構(gòu)描述數(shù)據(jù)庫(kù)的系統(tǒng)及其商用化產(chǎn)品。該系統(tǒng)采用了概念句子分析技術(shù)，通過一些簡(jiǎn)單的語(yǔ)言處理技術(shù)能夠完成限制在小規(guī)模，特定專業(yè)領(lǐng)域的信息抽取任務(wù)。? FRUMP 系統(tǒng)FRUMP 系統(tǒng)由 Gerald Dejong 在 80 年代初實(shí)現(xiàn)。該系統(tǒng)把有限新聞網(wǎng)絡(luò)作為數(shù)據(jù)源，使用一些新聞故事的簡(jiǎn)單腳本來對(duì)有限新聞網(wǎng)絡(luò)進(jìn)行監(jiān)控。它采用關(guān)鍵字檢索、概念句子分析、腳本匹配等方法來尋找新聞故事。FRUMP 系統(tǒng)是一個(gè)面向語(yǔ)義的系統(tǒng)，采用了一個(gè)特定專業(yè)領(lǐng)域的事件描述腳本知識(shí)庫(kù)。? SCISOR 系統(tǒng)80 年代末，美國(guó) GE 研究與開發(fā)中心的 Lisa 等研制的 SCISOR（System for Conceptual Information，Organization and Retrieval）系統(tǒng)所處理的對(duì)象是有關(guān)公司合并的新聞報(bào)導(dǎo)。SCISOR 首先采用關(guān)鍵詞過濾和模式匹配的方法對(duì)待處理文獻(xiàn)進(jìn)行主題分析，以便判定該報(bào)道的內(nèi)容是否與公司合并有關(guān)；然后采用自底向上的分析器識(shí)別句子結(jié)構(gòu)，生成概念表示；最后應(yīng)用自頂向下的預(yù)期驅(qū)動(dòng)分析器提取預(yù)期內(nèi)容。? MUC（Message Understanding Conference）是一個(gè) ARPA 資助的、為推動(dòng) IE 技術(shù)發(fā)展的一個(gè)重要的系列工程。有許多大學(xué)、研究所參加。1987 年的 MUC1 和 1989 年的MUC2 主要集中在從小規(guī)模的海軍信息文本中抽取相關(guān)的信息。1991 年的 MUC3 和1992 年的 MUC4 采用的文本主題和類型發(fā)生了變化，采用關(guān)于拉丁美洲國(guó)家恐怖事件通用主題的報(bào)紙和有線新聞文本作為語(yǔ)料源，系統(tǒng)包括預(yù)定義好的信息模板和輔助抽取規(guī)則，基本任務(wù)是從在線文本中抽取有關(guān)信息填入預(yù)定義的模板中的屬性槽中。1993 年的 MUC5 的文本主題是關(guān)于合資企業(yè)的商業(yè)新聞以及微電子芯片的制作方面的新聞，涉及英語(yǔ)和日語(yǔ)文檔。所抽取的信息包括合資企業(yè)的合資者、合資公司的名稱、所有權(quán)和資本以及預(yù)期的活動(dòng)，或者微電子芯片的制作活動(dòng)的性質(zhì)和狀態(tài)等有關(guān)項(xiàng)。涉及到多語(yǔ)言和多領(lǐng)域的文檔，以便進(jìn)行抽取信息的性能評(píng)價(jià)比較。1995 年的 MUC6申請(qǐng)上海交通大學(xué)學(xué)士學(xué)位論文2的信息抽取任務(wù)第一次涉及到用 SGML 語(yǔ)言所標(biāo)記的文本中的名稱項(xiàng)（named entity）和指同項(xiàng)（coreference）的處理。除了場(chǎng)景模板（scenario）任務(wù)以外，名稱項(xiàng)、指同項(xiàng)和模板元素（template element）信息抽取任務(wù)均與特定專業(yè)領(lǐng)域無(wú)關(guān)。測(cè)試的語(yǔ)料采用華爾街雜志中的文本。1998 年的 MUC7 是最近的一次信息理解會(huì)議。它的信息抽取任務(wù)涉及抽取文檔中的名稱項(xiàng)（人名、組織名和地點(diǎn)名） ；指同項(xiàng)；確定模板元素之間的關(guān)系，如地點(diǎn)關(guān)系、雇傭關(guān)系和生產(chǎn)關(guān)系等；抽取文檔中的事件。文檔包含多語(yǔ)種的新聞稿。訓(xùn)練用的文檔專業(yè)領(lǐng)域是關(guān)于飛機(jī)墜毀報(bào)道，而測(cè)試用的文檔專業(yè)領(lǐng)域是關(guān)于發(fā)射事件報(bào)道。? FASTUS 系統(tǒng)FASTUS 系統(tǒng)（Finite State Automaton Text Understanding System）是美國(guó)加里福尼亞斯坦福研究所人工智能中心從 1991 年開始開發(fā)的一個(gè)基于多層、非確定有限狀態(tài)自動(dòng)機(jī)模型的自然語(yǔ)言文本信息抽取系統(tǒng)。它共有六層轉(zhuǎn)換機(jī)制，即：切分標(biāo)記層、預(yù)處理層、名稱項(xiàng)識(shí)別層、簡(jiǎn)單短語(yǔ)識(shí)別層、復(fù)雜短語(yǔ)識(shí)別層、指同求解層。分解的語(yǔ)言處理使此系統(tǒng)能夠處理大量的與專業(yè)領(lǐng)域無(wú)關(guān)的句法結(jié)構(gòu)，以致于與專業(yè)領(lǐng)域相關(guān)的語(yǔ)義和語(yǔ)用處理能被應(yīng)用到相當(dāng)大部分的語(yǔ)言結(jié)構(gòu)上。正因?yàn)?FASTUS 系統(tǒng)具有這樣的特點(diǎn)，它已被成功地運(yùn)用于許多應(yīng)用中。? TIPSTER 計(jì)劃由美國(guó)國(guó)防部(DoD)、Defense Advanced Research Projects Agency（DARPA）和Central Intelligence Agency (CIA)共同資助的 TIPSTER 計(jì)劃包括至少 15 個(gè)與工業(yè)和學(xué)術(shù)有關(guān)的項(xiàng)目。目的是改進(jìn)文本處理的流行技術(shù)。TIPSTER 的體系結(jié)構(gòu)使用一組通用的文本處理模塊已能滿足不同的文本處理應(yīng)用的需要。這些應(yīng)用主要是文本檢測(cè)（定位包含某一信息類型的文本）和信息抽?。ǘㄎ晃谋局械奶囟ㄐ畔ⅲ?。在 TIPSTER研究的第一階段，參與者通過一些活動(dòng)如 MUC 和 TREC（Text Retrieval Conferences）對(duì)文本檢測(cè)和信息抽取所建立算法進(jìn)行改進(jìn)以及提高對(duì)評(píng)價(jià)這些改進(jìn)的技術(shù)。在第二階段的研究中，TIPSTER 參與者為了使技術(shù)組成構(gòu)件標(biāo)準(zhǔn)化，將注意力轉(zhuǎn)向軟件體系結(jié)構(gòu)的開發(fā)上。使各種所開發(fā)的工具具有即插即用的性能，增加軟件的共享程度。在目前進(jìn)行的第三階段的研究中，一種稱為 ACP（Architecture Capabilities Platform）的平臺(tái)被開發(fā)，它支持評(píng)價(jià)、擴(kuò)展和探索進(jìn)展中的 TIPSTER體系結(jié)構(gòu)。ACP 將采用 CORBA（Common Object Request Broker Architecture）結(jié)構(gòu)為研究者提供魯棒及相配的 TIPSTER 組成構(gòu)件。它將支持 TIPSTER 體系結(jié)構(gòu)的擴(kuò)展，以便與機(jī)器翻譯、語(yǔ)音和光學(xué)字符識(shí)別、圖象觀察、用戶界面構(gòu)件以及大規(guī)模信息系統(tǒng)相適應(yīng)。? SMES 系統(tǒng)由德國(guó)人工智能研究中心語(yǔ)言技術(shù)實(shí)驗(yàn)室（DFKILT）在 Paradime 項(xiàng)目中所開發(fā)的SMES（Saarbr252。cken Information Extraction System）系統(tǒng)是一個(gè)聯(lián)機(jī)的德語(yǔ)文擋信息抽取智能系統(tǒng)。文檔的專業(yè)領(lǐng)域包括通訊稿、經(jīng)濟(jì)報(bào)告和技術(shù)說明書。SMES 系統(tǒng)擁有大量的語(yǔ)言知識(shí)資源（如電子詞典包括 12 萬(wàn)條詞項(xiàng)以及可擴(kuò)展性很強(qiáng)的專門語(yǔ)法）以及極其快速和魯棒的自然語(yǔ)言構(gòu)件。它還能利用機(jī)器學(xué)習(xí)機(jī)制使自身能為實(shí)現(xiàn)新功能得到訓(xùn)練和配置，并能適應(yīng)所需的信息數(shù)量和各種文檔長(zhǎng)度。它被集成了圖形可視化技術(shù)、服務(wù)器體系結(jié)構(gòu)和英特網(wǎng)訪問技術(shù)。SMES 作為一個(gè)有效的智能信息檢索的核心系統(tǒng)已經(jīng)成功地運(yùn)用于科學(xué)和工業(yè)項(xiàng)目中。國(guó)內(nèi)對(duì)信息抽取的研究才剛剛起步。1998 年２月在東北大學(xué)學(xué)報(bào)（自然科學(xué)版）發(fā)表了《中文信息自動(dòng)抽取》一文，介紹了中文信息抽取的概念和對(duì)一些問題進(jìn)行了初步的探索。國(guó)內(nèi)對(duì)涉及中文和其他語(yǔ)種的多語(yǔ)種信息抽取技術(shù)還未見報(bào)道。申請(qǐng)上海交通大學(xué)學(xué)士學(xué)位論文3 信息抽取技術(shù)的特點(diǎn)信息抽取技術(shù)不同于傳統(tǒng)的信息檢索和自動(dòng)摘要技術(shù)。 ? 與信息檢索（Information Retrieval，簡(jiǎn)稱 IR）技術(shù)的區(qū)別與傳統(tǒng)的信息檢索技術(shù)比較，信息抽取技術(shù)有明顯的優(yōu)勢(shì)：信息檢索只是通過單純的匹配檢索得到相關(guān)的文檔，而并不真正理會(huì)文檔的實(shí)際內(nèi)容信息，文檔被等同于無(wú)意義的詞匯堆砌物；而信息抽取則是通過文本分析、語(yǔ)段分析、模板生成等過程抽取出有效的信息內(nèi)容。? 與自動(dòng)摘要（Automatic Abstraction）技術(shù)的區(qū)別與傳統(tǒng)的自動(dòng)文摘（Automatic Abstraction）技術(shù)比較，信息抽取技術(shù)的應(yīng)用前景更好：自動(dòng)文摘產(chǎn)生的文摘往往質(zhì)量較低，而且容易產(chǎn)生不全面、不連貫和冗余多等等問題；而信息抽取則針對(duì)有價(jià)值的相關(guān)領(lǐng)域的文本進(jìn)行結(jié)構(gòu)分析，其效率和質(zhì)量顯著提高，也更容易面向?qū)嶋H應(yīng)用。信息抽取技術(shù)具有其獨(dú)有的優(yōu)勢(shì)。利用淺層的自然語(yǔ)言處理技術(shù)（Shallow Natural Language Processing Technology，簡(jiǎn)稱SNLPT） ，可以實(shí)現(xiàn)高效率的自然語(yǔ)言處理；將非結(jié)構(gòu)化的信息改變?yōu)槔谟?jì)算機(jī)存儲(chǔ)、處理的結(jié)構(gòu)化形式，有利于信息的重復(fù)高效利用。 股市公告信息抽取系統(tǒng)（SBIES） 應(yīng)用背景隨著我國(guó)改革開放的深入，市場(chǎng)經(jīng)濟(jì)的發(fā)展，證券市場(chǎng)的到了空前的繁榮。目前，在滬深兩地上市的公司數(shù)目已達(dá)幾千家。每天在兩地市場(chǎng)公布的股市公告少則幾十條，多則百余條，文本量較大。如果需要在若干年的公告紀(jì)錄中，迅速查找各種相關(guān)的公告，如采取傳統(tǒng)的關(guān)鍵字查找技術(shù)，恐怕難以獲取很高效率?？紤]到信息抽取技術(shù)能夠有效地從大量文本中過濾出用戶可能關(guān)心的信息，并進(jìn)行結(jié)構(gòu)化存儲(chǔ)以便迅速查詢，希望基于信息抽取技術(shù)構(gòu)造股市公告信息抽取系統(tǒng)（Stock Bulletin Information Extraction System，簡(jiǎn)稱 SBIES） 。由于股市公告文本具有以下一些特點(diǎn)，故認(rèn)為采取信息抽取技術(shù)能夠大幅度提高系統(tǒng)的性能表現(xiàn)。? 句法簡(jiǎn)單。在一般股市公告中，通常以簡(jiǎn)單而表意清楚陳述句式為主。幾乎不出現(xiàn)具有二義性的語(yǔ)句。這為自然語(yǔ)言處理和信息抽取提供了較好的先決條件。? 格式規(guī)整。常見的股市公告大致可以分為若干種，如：停牌公告、財(cái)務(wù)指數(shù)公告、董事會(huì)決議公告、配送股公告、新股上市公告、等等。每一種公告都有相對(duì)固定的組成要素，容易構(gòu)造模板加以描述。? 文本量大。僅以上海證券交易所為例，每天的臨時(shí)性公告文本