【正文】 吸引力。中國對 WTO 的承諾也將有助于增加在各個經濟領域中的競爭。競爭將有助于提高效率和生產力，最終增強中國的經濟并提高中國企業(yè)在任何一個市場同最好的跨國公司進行競爭的能力。謝辭 在論文的寫作過程中，得到了許多老師和單位領導的幫助，學院的老師們嚴謹治學的教學使我受益非淺，我非常感激我的導師 XXX 老師，他是我獲得深思熟慮的意見和概念清晰的見解的來源，他不惜花費自己時間對本論文提出許多意見和建議，既激發(fā)了我的靈感，又給了我持久不斷的鼓勵。申請上海交通大學學士學位論文 申請上海交通大學學士學位論文漢語股市公告信息抽取系統(tǒng)的設計與實現學 生：學 號：專 業(yè)導 師： 學校代碼：上海交通大學網絡教育學院二ＯＯ四年十一月申請上海交通大學學士學位論文摘要本文介紹了一個基于中文信息抽取模型的股市公告信息抽取系統(tǒng)（SBIES）的設計與實現。討論了漢語信息抽取模型的具體結構，構建了由自動分詞、自動標注和模板填充三個階段組成的簡化模型。重點探討了模板填充的具體算法。著重討論了采用隱馬爾科夫模型進行信息抽取的具體算法。對領域文本做了人工標注，通過計算機處理獲取所需的統(tǒng)計數據。關鍵詞：信息抽取，隱馬爾科夫模型，自然語言申請上海交通大學學士學位論文THE DESIGN AND IMPLEMENTATION OF CHINESE STOCK BULLETIN INFORMATION EXTRACTION SYSTEMAbstractThis article introduced the design and implementation of a Chinese IE Technology based stock bulletin information extraction system (SBIES). The framework and deployment of the system were described. The structure of the Chinese information extraction model was discussed in detail. We proposed a simplified 3 tiers IE model consisting of automatic word segmentation, automatic annotation, and template filling. The algorithms used in automatic word segmentation and annotation were briefly introduced while algorithms used in template filling were focused on. In this article, the rulebased structuralism methods and the corpusbased statistical functionalism methods were discussed respectively. The Hidden Markov Model (HMM) was introduced to extract information and the algorithm was explained at length. The algorithm for model parameter acquisition was also analyzed and the BaumWelch iteration algorithm was modified. Domain texts were annotated manually to acquire statistical data via putation. With these data, HMMbased IE was implemented.KEY WORDS:information extraction, hidden Markov model, natural language申請上海交通大學學士學位論文目錄1 概述 ......................................................................1 信息抽取技術（INFORMATION EXTRACTION） ...................................1 信息抽取技術的發(fā)展 ................................................1 信息抽取技術的特點 ................................................3 股市公告信息抽取系統(tǒng)（SBIES） .........................................3 應用背景 ..........................................................3 系統(tǒng)框架結構 ......................................................4 系統(tǒng)分布結構 ......................................................5 本文內容簡介 ..........................................................52 信息抽取模塊的設計 ........................................................7 模塊內部結構 ..........................................................7 串行化的模塊內部結構及其問題 ......................................7 簡化的高性能信息抽取模型 ..........................................8 自動分詞 ..............................................................9 詞類自動標注 .........................................................103 信息抽取的關鍵算法 .......................................................13 傳統(tǒng)語言學方法 .......................................................13 基于規(guī)則的信息抽取算法 ...........................................13 基于規(guī)則信息抽取面臨的嚴峻問題 ...................................15 統(tǒng)計學方法 ...........................................................16 基于語料庫的統(tǒng)計語言學方法 .......................................16 隱馬爾科夫模型（HMM）簡介 ........................................16 隱馬爾科夫模型（HMM）在信息抽取上的應用 ..........................17 隱馬爾科夫模型的訓練與優(yōu)化問題 ...................................194 實現與結果分析 ...........................................................20 模塊實現情況 .........................................................20 兩種信息抽取方法的比較 ...............................................21 結果總結 .............................................................21 遺留的問題 ...........................................................22參考文獻 .....................................................................23致謝 .........................................................................24申請上海交通大學學士學位論文11 概述 信息抽取技術（Information Extraction）信息技術高速發(fā)展的時代中，信息的獲取、處理和應用已經成為了經濟、科學、軍事、文化等各個領域發(fā)展的關鍵活動。近年來，隨著計算機和互聯網技術的迅猛發(fā)展，各領域可及信息量呈指數級增長。信息抽?。↖nformation Extraction，簡稱 IE）技術，是自然語言處理領域中一種新興的技術。將結構松散的自然語言信息，通過抽取轉為結構嚴謹、語義明確的表現形式，利用計算機進行高效存儲并加以利用。下面介紹一些信息抽取發(fā)展上重要的研究成果以及國內外的研究現狀 [7]。該系統(tǒng)采用了概念句子分析技術，通過一些簡單的語言處理技術能夠完成限制在小規(guī)模，特定專業(yè)領域的信息抽取任務。該系統(tǒng)把有限新聞網絡作為數據源，使用一些新聞故事的簡單腳本來對有限新聞網絡進行監(jiān)控。FRUMP 系統(tǒng)是一個面向語義的系統(tǒng)，采用了一個特定專業(yè)領域的事件描述腳本知識庫。SCISOR 首先采用關鍵詞過濾和模式匹配的方法對待處理文獻進行主題分析，以便判定該報道的內容是否與公司合并有關；然后采用自底向上的分析器識別句子結構，生成概念表示；最后應用自頂向下的預期驅動分析器提取預期內容。有許多大學、研究所參加。1991 年的 MUC3 和1992 年的 MUC4 采用的文本主題和類型發(fā)生了變化，采用關于拉丁美洲國家恐怖事件通用主題的報紙和有線新聞文本作為語料源，系統(tǒng)包括預定義好的信息模板和輔助抽取規(guī)則，基本任務是從在線文本中抽取有關信息填入預定義的模板中的屬性槽中。所抽取的信息包括合資企業(yè)的合資者、合資公司的名稱、所有權和資本以及預期的活動，或者微電子芯片的制作活動的性質和狀態(tài)等有關項。1995 年的 MUC6申請上海交通大學學士學位論文2的信息抽取任務第一次涉及到用 SGML 語言所標記的文本中的名稱項（named entity）和指同項（coreference）的處理。測試的語料采用華爾街雜志中的文本。它的信息抽取任務涉及抽取文檔中的名稱項（人名、組織名和地點名） ；指同項；確定模板元素之間的關系，如地點關系、雇傭關系和生產關系等；抽取文檔中的事件。訓練用的文檔專業(yè)領域是關于飛機墜毀報道，而測試用的文檔專業(yè)領域是關于發(fā)射事件報道。它共有六層轉換機制，即：切分標記層、預處理層、名稱項識別層、簡單短語識別層、復雜短語識別層、指同求解層。正因為 FASTUS 系統(tǒng)具有這樣的特點，它已被成功地運用于許多應用中。目的是改進文本處理的流行技術。這些應用主要是文本檢測（定位包含某一信息類型的文本）和信息抽?。ǘㄎ晃谋局械奶囟ㄐ畔ⅲ?。在第二階段的研究中，TIPSTER 參與者為了使技術組成構件標準化，將注意力轉向軟件體系結構的開發(fā)上。在目前進行的第三階段的研究中，一種稱為 ACP（Architecture Capabilities Platform）的平臺被開發(fā)，它支持評價、擴展和探索進展中的 TIPSTER體系結構。它將支持 TIPSTER 體系結構的擴展，以便與機器翻譯、語音和光學字符識別、圖象觀察、用戶界面構件以及大規(guī)模信息系統(tǒng)相適應。cken Information Extraction System）系統(tǒng)是一個聯機的德語文擋信息抽取智能系統(tǒng)。SMES 系統(tǒng)擁有大量的語言知識資源（如電子詞典包括 12 萬條詞項以及可擴展性很強的專門語法）以及極其快速和魯棒的自然語言構件。它被集成了圖形可視化技術、服務器體系結構和英特網訪問技術。國內對信息抽取的研究才剛剛起步。國內對涉及中文和其他語種的多語種信息抽取技術還未見報道。 ? 與信息檢索（Information Retrieval，簡稱 IR）技術的區(qū)別與傳統(tǒng)的信息檢索技術比較，信息抽取技術有明顯的優(yōu)勢：信息檢索只是通過單純的匹配檢索得到相關的文檔，而并不真正理會文檔的實際內容信息，文檔被等同于無意義的詞匯堆砌物；而信息抽取則是通過文本分析、語段分析、模板生成等過程抽取出有效的信息內容。信息抽取技術具有其獨有的優(yōu)勢。 股市公告信息抽取系統(tǒng)（SBIES） 應用背景隨著我國改革開放的深入，市場經濟的發(fā)展，證券市場的到了空前的繁榮。每天在兩地市場公布的股市公告少則幾十條，多則百余條，文本量較大?？紤]到信息抽取技術能夠有效地從大量文本中過濾出用戶可能關心的信息，并進行結構化存儲以便迅速查詢，希望基于信息抽取技術構造股市公告信息抽取系統(tǒng)（Stock Bulletin Information Extraction System，簡稱 SBIES） 。? 句法簡單。幾乎不出現具有二義性的語句。? 格式