【導(dǎo)讀】有價值的客戶……發(fā)現(xiàn)可能存在欺詐的交易，《沉思錄》、《資本戰(zhàn)爭》…數(shù)據(jù)挖掘是知識發(fā)現(xiàn)過程中的一個特定步。由于KDD的其他步驟對數(shù)據(jù)挖掘的運行性能和結(jié)。往往包括KDD的全過程。數(shù)據(jù)挖掘是從大量的、不完全的有噪聲、模糊的、的以及最終可理解的模式的過程。–保證挖掘出來的信息的可靠性；數(shù)據(jù)庫與數(shù)據(jù)表，為數(shù)據(jù)挖掘做準(zhǔn)備。數(shù)據(jù)能夠真實反映待要挖掘的對象。主題聚類發(fā)現(xiàn)研究熱點。如股市升降與突發(fā)事件的關(guān)聯(lián)。如DNA序列相似性發(fā)現(xiàn)。如發(fā)現(xiàn)A事件發(fā)生前一定有B事件發(fā)生。預(yù)處理過程復(fù)雜、重要。與用戶查詢相關(guān)的文檔通常會聚類得比較靠近，而遠離與。利用文本聚類技術(shù)將搜索引擎的檢索結(jié)果劃分為若干個簇，于電影名稱、導(dǎo)演、演員、編劇的出現(xiàn)模式。在某個歷史時刻的分布情況。Feldman等人使用多種分布模型對路透社。將來的取值趨勢。預(yù)測，取得了良好的效果。文檔之間的邏輯關(guān)系，與文檔所處位置無關(guān)。找到隱藏在一個個頁面之后的鏈接結(jié)構(gòu)模型，

　　

【正文】 到事件的相應(yīng)角色中，通過各個對象之間的關(guān)系，能夠還原出整個事件的“原型”。 主要研究點在于模板的獲取 ?專家針對不同領(lǐng)域手工寫模板 ?自動獲取模板 （主流研究方向 ） ST (Scenario Template) 情節(jié)模板 ?The shiny red rocket was fired on Tuesday. It is the brainchild of Dr. Big Head. Dr. Head is a staff scientist at We Build Rockets Inc. NE: entities are rocket, Tuesday, Dr. Head and We Build Rockets CO: it refers to the rocket。 Dr. Head and Dr. Big Head“ are the same TE: the rocket is shiny red and Head39。s brainchild. TR: Dr. Head works for We Build Rockets Inc. ?ST: a rocket launching event occurred with the various participants. 主要內(nèi)容 IE相關(guān)的研究活動 GATE ?簡介 GATE是 University of Sheffield承擔(dān)的信息抽取項目。 是 純 Java語言的開源軟件。 支持對 XML、 RTF、 Email、 HTML、 SGML以及純文本文檔類型信息的抽取 。 ?Gate項目認為，典型的信息抽取包括三個過程： 預(yù)處理過程 命名實體探測過程 事件探測過程 GATE信息抽取過程 ?第一步：預(yù)處理 文本格式的檢查（ Format Detection） 特征標(biāo)記 (Tokenisation) 分詞 (Word Segmentation) 句法分割 (Sentence Splitting) 語法標(biāo)記 (POS tagging)等 預(yù)處理后 ?將文本分解成為有一定語言意義的語言片段，并對這些語言片段進行標(biāo)記，使文本能夠被轉(zhuǎn)換成為更易于被信息抽取系統(tǒng)處理的模式。 GATE信息抽取過程 ?第二步：命名實體探測 借助辭典實現(xiàn)人物、組織、地點、時間等命名實體的探測。 ?辭典中也可能會包括一些相應(yīng)的指示詞（如 Ltd.提示公司名稱）用以指示相應(yīng)的實體內(nèi)容。 語義標(biāo)記。如 ANNIE系統(tǒng)通過 JAPE書寫的規(guī)則，能夠?qū)嶓w進行更深入的語義標(biāo)注。 實體關(guān)聯(lián)。通過參照實現(xiàn)實體之間的聯(lián)系。 GATE信息抽取過程 ?第三步：事件探測 在命名實體探測基礎(chǔ)上，抽取某一事件中的事件信息并將事件信息與某個組織、人物或其它實體相關(guān)聯(lián)，構(gòu)造出事件的概貌。 完成句法分析、模板填充、模板合并、模板關(guān)聯(lián)和事件探測等。 GATE命名實體探測 GATE信息抽取流程 ?英文信息抽取相對成熟 ?GATE對中文信息抽取的支撐不足 ?NSL等在 GATE基礎(chǔ)之上 ， 開發(fā)出了一個支持中文信息抽取的系統(tǒng) ， 初步解決了中文信息抽取問題 。 ?初步解決中文信息抽取 ?三個中文信息抽取的主要問題 Chinese tokenizing Chinese gazetteers Chinese named entity recognition 相應(yīng)的處理方案 中文信息抽取 Chi Tokenizing Chi IE Chi Gazetteer 應(yīng)用實驗 應(yīng)用實例 Chi Rules 用 Java的 JNI調(diào)用計算所ICTCLAS實現(xiàn)分詞和詞性標(biāo)注。 通過網(wǎng)上免費語料或自己制作獲得。（目前已有英文詞表 95個；中文詞表 74個） 重新構(gòu)造中文 IE的 JAPE規(guī)則。 和現(xiàn)有信息系統(tǒng)結(jié)合，比如RSS信息聚合系統(tǒng)。 基于 GATE的英文、中文信息抽取，開發(fā) Chinese Annie組件。 IE系統(tǒng) KIM ArtEquAKT Amilcare Armadillo BioRAT ANP（ Arizona Noun Phraser） DELOS WP5: Knowledge Extraction and Semantic Interoperability TAKE: Toolkit for Agentbased Knowledge Extraction SKIF： A Distributed Knowledge Extraction Framework Based on Semantic Web Services BioMeKe ： BioMedical Knowledge Extraction project 主要內(nèi)容 IE相關(guān)的研究活動 IE系統(tǒng)設(shè)計方法 知識工程法 (Knowledge Engineering Approach) ?靠手工編制規(guī)則，使系統(tǒng)能處理特定知識領(lǐng)域的信息抽取。 ?要求編制規(guī)則的知識工程師對該知識領(lǐng)域有深入的了解。 ?開發(fā)過程耗時耗力。 自動訓(xùn)練法 (Automatic Training Approach) ?通過學(xué)習(xí)已經(jīng)標(biāo)記好的語料庫自動獲取規(guī)則，能處理沒有見過的新文本。 ?對專業(yè)知識工程師要求不高，但需要足夠數(shù)量的訓(xùn)練數(shù)據(jù)。 ?實現(xiàn)上比知識工程方法快 分裝器生成 ?分裝器 (Wrapper， 也譯“包裝器” ) 分裝器是一個程序，用于從特定的信息源中抽取相關(guān)內(nèi)容，并以特定形式加以表示。 在網(wǎng)環(huán)境下，分裝器的目的是把網(wǎng)頁信息結(jié)構(gòu)化，以方便進一步的處理。 建造針對網(wǎng)頁的分裝器主要有兩個好處： ?提高從某一特定信息源獲取相關(guān)信息的能力 ?實現(xiàn)異構(gòu)資源整合，支持通用語言查詢 分裝器生成 (Wrapper Generation, WG ） ?分裝器生成方法 人工生成 ?手工生成分裝器通常需要編寫專用的代碼，要花很多時間理解文檔的結(jié)構(gòu)并將其轉(zhuǎn)換成程序代碼。 ?例如， 對 Springer資源的分裝 半自動化生成 ?使用圖形向?qū)ё層脩舾嬖V系統(tǒng)那些信息需要抽取 全自動生成 ?利用機器學(xué)習(xí)的技巧，開發(fā)學(xué)習(xí)算法，設(shè)計出從非常簡單到相對復(fù)雜的分裝器 分裝器生成系統(tǒng)簡介 ?處理結(jié)構(gòu)化和半結(jié)構(gòu)化網(wǎng)頁系統(tǒng) ShopBot WIEN SoftMealy STALKER ?處理半結(jié)構(gòu)化和非結(jié)構(gòu)化網(wǎng)頁系統(tǒng) RAPIER SRV WHISK 主要內(nèi)容 IE相關(guān)的研究活動 Junglee ?目標(biāo) 利用 HTML和 XML混合形式表示從多個網(wǎng)站中獲取的信息，為程序員提供一個單一數(shù)據(jù)庫界面。 ?系統(tǒng)組成 數(shù)據(jù)整合系統(tǒng)：完成數(shù)據(jù)的抽取 ?一組分裝器：連接數(shù)據(jù)源。 ?一個影射器：器用預(yù)定義的影射規(guī)則，把抽取出來的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式。 ?一個抽取器：用字典和語言學(xué)規(guī)則從非結(jié)構(gòu)化的文本中歸納出其組織結(jié)構(gòu)。 數(shù)據(jù)發(fā)布系統(tǒng)： ?負責(zé)數(shù)據(jù)庫更新 ?服務(wù)發(fā)布等 Jango 目標(biāo) ?從多個購物網(wǎng)站抽取同一產(chǎn)品價格信息，供用戶貨比三家。 系統(tǒng)組成 ?一個自然語言前端，能將用戶請求轉(zhuǎn)換成產(chǎn)品描述的邏輯表示； ?一個查詢路由器（ query router）， 能判定產(chǎn)品類別，找出相關(guān)的一系列網(wǎng)站； ?一個集成引擎，能平行向選定的網(wǎng)站提交查詢； ?一個過濾器，能用類似于 ShopBot 的方法，把信息抽取出來。 處理過程 ?在 學(xué)習(xí)階段， Jango根據(jù)網(wǎng)上商店首頁的 URL和產(chǎn)品領(lǐng)域知識，學(xué)習(xí)如何在網(wǎng)站購物，能學(xué)得每個商店的產(chǎn)品描述的格式，獲取價格等產(chǎn)品屬性。 ?在購物階段，這些學(xué)得的描述將被用于抽取用戶指定產(chǎn)品信息。信息抽取是在線平行進行，結(jié)果以價格排序顯示給用戶。 其他應(yīng)用 產(chǎn)品描述 ?ShopBot用于比價購物，所抽取的產(chǎn)品信息按價格排序。 餐廳指引 ?STALKER被用來抽取不同網(wǎng)站上的餐廳信息，如餐廳名稱、菜肴種類、價格、烹調(diào)方法、地址、電話和評價。 講座通知 ?SRV試用在講座信息的抽取任務(wù)上，把講者、地點、時間等信息抽取出來。 招聘廣告 ?RAPIER和 WHISK被用于招聘廣告的信息抽取。需抽取的信息點包括職位名稱、工資、地點等。 人事更迭公告 ?WHISK曾被用于從雜志文章中抽取公司名稱、職位、新任人員的姓名、卸任人的姓名。 其他 ?例如：租賃廣告、地理信息、假日旅游信息、天氣預(yù)報、參考書目信息等。 總結(jié) ?信息抽取技術(shù)近年來得到快速發(fā)展。 ?自動化分裝器生成是研究的難點。 ?信息抽取技術(shù)在網(wǎng)頁信息抽取應(yīng)用會隨開放式 Web融合、語義網(wǎng)絡(luò)技術(shù)的發(fā)展而逐漸減弱。 ?信息抽取技術(shù)未來發(fā)展將更側(cè)重對自由文檔的信息抽取，并將與知識發(fā)現(xiàn)結(jié)合。 ?問題？