【正文】 LH 的跨語言跟蹤造成了困難，因?yàn)?NLH 要求參與匹配的報(bào)道對象， 必須采用同一種源語言進(jìn)行描述。他首先建立了本地語言假設(shè)(Native Language Hypothesis, NLH)，其核心內(nèi)容是：組成兩篇報(bào)道內(nèi)容的特征如果來自同一種源語言，那么針對這兩篇報(bào)道之間的任何匹配算法，都只能在基于源語言的情況下才能獲得最優(yōu)的效果，而不是經(jīng)過翻譯的其他語言。隨著跨語言技術(shù)的發(fā)展，包括 James Allan[24]、Leek[7]和 Levow[25]在內(nèi)的一些學(xué)者嘗試采用不同的翻譯策略解決 TDT 研究中的跨語言問題，并比較了機(jī)器翻譯和其他翻譯技術(shù)在 TDT 中的效果。TNO 的增量式策略在不損失聚類性能的同時(shí)，降低了由根節(jié)點(diǎn)檢測到話題的復(fù)雜度。一種解決 HTD 的方法是凝聚層次聚類算法(Hierarchical Agglomerative Clustering, HAC)，其核心思想是計(jì)算當(dāng)前聚類集合中每對聚類的相關(guān)度，將滿足閾值條件的一對聚類融合成新的聚類，通過反復(fù)迭代這一過程，系統(tǒng)最終把話題模型構(gòu)造成具有層次關(guān)系的 DAG。HTD 通常可以采用基于一個(gè)根節(jié)點(diǎn)的非循環(huán)有向圖(Directed Acyclic Graph ,簡寫為 DAG) 描述話題包含的層次結(jié)構(gòu)[21]。（4） 層次話題檢測(HTD)TDT2004 定義了一項(xiàng)新的話題檢測任務(wù)： 層次話題檢測(Hierarchical Topic Detection, HTD)。RED 研究就是面向話題檢測系統(tǒng)的這種缺陷提出的。RED 研究的必要性來源于話題波動(dòng)出現(xiàn)的特性。（3） 事件回顧檢測(RED)事件回顧檢測(Retrospective News Event Detection, RED)的主要任務(wù)是回顧過去所有發(fā)生過的新聞報(bào)道，并從中檢測出未被識別到的相關(guān)新聞事件。其中最常用的 NLP 技術(shù)是命名實(shí)體(Named Entities ,簡稱為 NE)識別。從內(nèi)容上分析，這些事件的相關(guān)報(bào)道中都會頻繁出現(xiàn)“恐怖分子”、“自殺式”、“襲擊”、“損毀”和“死亡”等特征，并且這些特征在報(bào)道中出現(xiàn)的頻率相對最頻繁。傳統(tǒng)的 NED 研究采用基于統(tǒng)計(jì)原理的文本表示形式，其中最常用的表示方法是向量空間模型，事件模型與報(bào)道的相似度計(jì)算則相應(yīng)地采用余弦夾角和Hellinger距離公式[15]。（2） 新事件檢測(NED)新事件檢測(New Event Detection, NED)是輔助話題檢測(TD)的重要組成部分，NED 與首次報(bào)道檢測任務(wù)(First Story Detection, FSD)很相似，唯一的區(qū)別在于前者提交的最新事件可能相關(guān)于歷史上的某一話題，忽視了話題出現(xiàn)的跳躍性，使得檢測到的新話題經(jīng)常是某些已知話題在不同時(shí)期出現(xiàn)的相關(guān)事件，后者必須輸出話題最早的相關(guān)報(bào)道。對于 OTD 的早期研究主要集中在聚類方法的選擇與融合上。Ponte 和 Croft[9]采用向量空間模型，并基于特征上下文的擴(kuò)展技術(shù)執(zhí)行語言數(shù)據(jù)聯(lián)盟(Language Data Coalition，LDC)的任務(wù)，其選擇待測報(bào)道中權(quán)重較大的特征作為擴(kuò)展對象，通過圍繞特征經(jīng)常出現(xiàn)的上下文信息[10]對其進(jìn)行擴(kuò)展，特征空間由原始和擴(kuò)展的特征項(xiàng)共同組合而成。此外，Leek[6] 和Yamron[7] 將參與檢測的兩篇報(bào)道分別看作一個(gè)話題和一篇報(bào)道，采用語言模型(Language Model，簡稱為 LM) 描述報(bào)道產(chǎn)生于話題的概率，并通過調(diào)換兩篇報(bào)道的角色分別從兩個(gè)方向估計(jì)它們的產(chǎn)生概率，最終的相關(guān)性則依據(jù)這兩種概率分布，采用 KullbackLeibler Divergence[8](簡稱為 KLD)算法綜合得出。就傳統(tǒng)基于概率統(tǒng)計(jì)的 TDT 研究而言，報(bào)道與話題或者報(bào)道與報(bào)道之間的相關(guān)性，都是通過檢驗(yàn)兩者之間共有特征的覆蓋比例進(jìn)行評判。相比于國外以統(tǒng)計(jì)概率模型為主體的研究趨勢，國內(nèi)的相關(guān)研究更側(cè)重基于 TDT 本身的特色進(jìn)行探索。這種情況的出現(xiàn)往往是因?yàn)槊癖娕c政府在某一具體管理行為上產(chǎn)生意見分歧或是矛盾，經(jīng)過網(wǎng)絡(luò)不斷傳播，負(fù)面效應(yīng)放大，導(dǎo)致民眾與政府的矛盾激化，進(jìn)而使政府管理者的“合法地位”受到質(zhì)疑，對公共管理秩序造成危害。網(wǎng)絡(luò)作為一種信息傳遞渠道已經(jīng)對傳統(tǒng)的信息傳播和處理方式帶來很大的挑戰(zhàn)，政府如果不能清醒地認(rèn)識到這一點(diǎn)，仍舊采用封閉或者有選擇的發(fā)布信息的方式，那么當(dāng)社會公眾通過網(wǎng)絡(luò)得知事件真相之后會極大地降低對政府的信任程度。隨著社會的發(fā)展和社會結(jié)構(gòu)的日益緊密，公共危機(jī)產(chǎn)生的概率以及對公共管理秩序所產(chǎn)生的危害性越來越大。網(wǎng)絡(luò)通過大量網(wǎng)民發(fā)出較為一致的聲音，即形成輿情的方式表達(dá)對現(xiàn)實(shí)社會的觀點(diǎn)，這種網(wǎng)絡(luò)輿論環(huán)境的客觀存在是現(xiàn)實(shí)社會管理者不容忽視的外界因素之一。對網(wǎng)民而言，通過網(wǎng)絡(luò)了解政府出臺相關(guān)政策的初衷，可以知曉公共管理具體行為的推進(jìn)情況，甚至可以通過網(wǎng)絡(luò)進(jìn)行監(jiān)督政府的行政管理行為。如果管理不善，負(fù)面的網(wǎng)絡(luò)輿情將對社會公共安全造成極其惡劣的影響。對這些不良的信息，也要加以監(jiān)控和處理以杜絕它對國家的穩(wěn)定和人民的身心健康造成惡劣的影響，這對于構(gòu)建社會主義和諧社會具有重要意義。社會熱點(diǎn)的信息顯示，有利于國家采取措施、解決問題、安定民心、穩(wěn)定社會，這就是社會熱點(diǎn)的積極作用。話題具有很強(qiáng)的時(shí)效性，有一定的存在時(shí)間，即話題在一定的時(shí)間內(nèi)產(chǎn)生、發(fā)展，并隨著時(shí)間的推移而消亡。現(xiàn)實(shí)世界中的一些問題被發(fā)布到互聯(lián)網(wǎng)上時(shí)可以吸引大量的注意力，因?yàn)槠鋫鞑ニ俣瓤欤鼙姀V，并且難以控制，很容易造成強(qiáng)烈的輿論壓力，但是這些輿論的方向并不一定就是正確的，當(dāng)關(guān)于某件事的輿論被誤導(dǎo)時(shí)，極有可能造成不可想象的破環(huán)，這種破環(huán)很難控制。網(wǎng)絡(luò)輿情是通過互聯(lián)網(wǎng)傳播的公眾對現(xiàn)實(shí)生活中某些問題所持有的具有較強(qiáng)影響力、傾向性的觀點(diǎn)和言論，是網(wǎng)民關(guān)注的熱點(diǎn)，是民眾討論的焦點(diǎn)，集中反映一個(gè)時(shí)期網(wǎng)絡(luò)輿論的中心。此外，數(shù)據(jù)顯示，中國 56%的網(wǎng)民經(jīng)常在網(wǎng)上發(fā)表意見，%的網(wǎng)民認(rèn)為互聯(lián)網(wǎng)是最重要的信息渠道，48%的網(wǎng)民對互聯(lián)網(wǎng)的信任程度比電視高。因此，電力信息敏感內(nèi)容監(jiān)測及熱點(diǎn)事件可以被歸結(jié)到負(fù)面網(wǎng)絡(luò)輿情，并借鑒網(wǎng)絡(luò)輿情研究技術(shù)來解決電力企業(yè)所面臨的負(fù)面新聞困擾。當(dāng)前互聯(lián)網(wǎng)上有關(guān)電力企業(yè)的敏感信息主要包括原始生產(chǎn)數(shù)據(jù)和企業(yè)福利數(shù)據(jù)等，針對這些敏感信息引發(fā)了若干網(wǎng)民高度關(guān)注的熱點(diǎn)事件，如電價(jià)上漲、電力企業(yè)虛報(bào)經(jīng)營業(yè)績、員工福利超標(biāo)、電力線路（設(shè)備）損壞等等。如何對上述敏感信息進(jìn)行實(shí)時(shí)監(jiān)測，并及時(shí)發(fā)現(xiàn)熱點(diǎn)事件進(jìn)行相關(guān)應(yīng)對，這些問題對于電力企業(yè)具有極強(qiáng)的現(xiàn)實(shí)意義。下面簡單介紹網(wǎng)絡(luò)輿情在我國的發(fā)展?fàn)顩r以突顯電力企業(yè)所面對的負(fù)面新聞壓力。另據(jù)2010 年統(tǒng)計(jì)，全世界互聯(lián)網(wǎng)網(wǎng)站數(shù)以億計(jì)，其中我國網(wǎng)站數(shù)目 323 萬個(gè)，域名 1121萬個(gè)，注冊域名數(shù)、網(wǎng)站數(shù)、網(wǎng)頁數(shù)量穩(wěn)居亞洲第一，其中論壇有 130 多萬個(gè)，數(shù)量為全球第一，僅百度的論壇每天發(fā)布的新帖數(shù)量就達(dá) 200 多萬條，熱門帖子的跟帖評論可以達(dá)到幾十萬條。當(dāng)今，信息交互和輿論傳播空前迅捷，網(wǎng)絡(luò)輿情的表達(dá)形式也日趨多元化，主要通過新聞評論、BBS 論壇、博客、聚合新聞(RSS)等實(shí)現(xiàn)并加以強(qiáng)化。因此，為有效應(yīng)對互聯(lián)網(wǎng)空間的開放性、匿名性帶來的一系列輿論壓力問題，政府應(yīng)對網(wǎng)絡(luò)輿情建立收集和分析機(jī)制，及時(shí)回應(yīng)和疏導(dǎo)。話題的發(fā)現(xiàn)依靠聚類的方法，將大量的報(bào)道聚合成若干簇，簇內(nèi)的報(bào)道之間相似度高，簇間的報(bào)道相似度低，每個(gè)簇即是一個(gè)事件的報(bào)道的集合，以此來整合網(wǎng)絡(luò)上大量的重復(fù)信息和同一話題內(nèi)的不同信息。另一方面，輿論熱點(diǎn)往往呈現(xiàn)自發(fā)、松散狀態(tài)，甚至帶有片面意見或沖動(dòng)情緒，而且易受從眾效應(yīng)的影響，也容易遭到境內(nèi)外敵對勢力的挑撥和教唆，如不及時(shí)疏導(dǎo)，便會因民間的傳播、感染、認(rèn)同而逐漸形成社會輿論合力，沖擊人們情緒，不利于社會穩(wěn)定，這便是社會熱點(diǎn)的負(fù)面效應(yīng)。隨著我國網(wǎng)絡(luò)文化的發(fā)展和人們對網(wǎng)絡(luò)的依賴，輿論演化的形式逐漸從純粹的人類社會的網(wǎng)絡(luò)演化模式向人機(jī)結(jié)合、以人為主的新型網(wǎng)絡(luò)演化模式轉(zhuǎn)化，形成一個(gè)復(fù)雜網(wǎng)絡(luò)系統(tǒng)。這些網(wǎng)絡(luò)輿論對現(xiàn)實(shí)社會的影響受到了普遍關(guān)注，尤其是政府更有必要及時(shí)掌握當(dāng)前的網(wǎng)絡(luò)輿情，正確的了解流行觀點(diǎn)和網(wǎng)民態(tài)度，這是因?yàn)椋阂环矫妫W(wǎng)絡(luò)輿情對政府管理具有積極的推動(dòng)作用。在這樣一種良好的互動(dòng)情況下形成的網(wǎng)絡(luò)輿情，有助于為政府管理提供有利的輿論環(huán)境，對內(nèi)可以產(chǎn)生強(qiáng)大的凝聚力和吸引力，對外可以展示良好形象，產(chǎn)生強(qiáng)大的向心力和感召力。政府管理者通過借力于網(wǎng)絡(luò)環(huán)境，不但可以在網(wǎng)絡(luò)“虛擬社會”中爭取到支持，而且這種支持一定程度上也能反映到現(xiàn)實(shí)社會中來。危機(jī)事件從根本上說是對政府管理能力的否定性事件，危機(jī)發(fā)生是對政府應(yīng)對能力的考驗(yàn)，無法預(yù)見危機(jī)、錯(cuò)誤的判斷以及不合理的決策處置能導(dǎo)致危機(jī)升級；正確收集分析網(wǎng)絡(luò)輿情可以及時(shí)預(yù)判危機(jī)，合理地引導(dǎo)輿論可以化解矛盾。其次，造成民眾與政府之間的隔閡。對國家和政府而言，采取一定的措施引導(dǎo)進(jìn)而控制熱點(diǎn)話題的趨勢以減少網(wǎng)絡(luò)帶來的負(fù)面影響是十分必要的。國外話題發(fā)現(xiàn)與跟蹤的研究主要集中在以下領(lǐng)域：(Link Detection Task, LDT)LDT 的主要任務(wù)是檢測隨機(jī)選擇的兩篇報(bào)道是否論述同一話題。換言之，兩者共有的特征越多，那么它們相關(guān)的可能性越大。VSM 和 LM 存在的主要缺陷在于特征空間的數(shù)據(jù)稀疏性，通常解決這一問題的方法是數(shù)據(jù)平滑技術(shù)，但是平滑得到的特征權(quán)重往往被泛化，從而無法有效描述文本內(nèi)容上的差異。擴(kuò)展技術(shù)不僅有助于解決數(shù)據(jù)稀疏問題，同時(shí)可以輔助 LDC 系統(tǒng)削弱特征的歧義性。比如，參加在線話題檢測任務(wù)的所有單位都嘗試使用單路徑聚類算法對新話題進(jìn)行檢測。NED 中的主流方法來自于 James Allan[13]和 Yiming Yang[14]，他們通過建立一個(gè)在線識別系統(tǒng)(OLSYS) 檢驗(yàn)報(bào)道流中新出現(xiàn)的事件。統(tǒng)計(jì)模型的缺陷之一在于事件空間中的噪聲信息對新事件檢測造成的負(fù)面影響，基于這一問題， Yiming Yang[14]采用分類技術(shù)將先驗(yàn)的報(bào)道劃分為不同類別，區(qū)別于將類別中的所有相關(guān)報(bào)道作為事件描述， Yiming Yang 只選擇每個(gè)類別中最優(yōu)的相關(guān)報(bào)道描述事件模型，基于這種方法的 NED 系統(tǒng)在性能上獲得了顯著的提高。因此，根據(jù)傳統(tǒng)基于統(tǒng)計(jì)的策略，這些特征往往構(gòu)成事件模型的主體，從而無法有效區(qū)分同一話題框架下的不同事件。比如 Kumaran[16]以 Yiming Yang[18]的分類方法為統(tǒng)計(jì)框架，將報(bào)道描述成三種向量空間，分別為全集特征向量、僅包含 NE 的特征向量和排除 NE 的特征向量，該框架對比了三種向量空間模型對新事件檢測的影響，并驗(yàn)證 NE 極大地促進(jìn)了事件之間的區(qū)分。對于 RED研究方向的理解必須涉及到事件與話題的定義。比如，CNN 關(guān)于“圣誕前夜”的話題在每年的圣誕前夕都會成為新聞與廣播最關(guān)心的事件。首次提出 RED 研究并給予定義的學(xué)者是Yiming Yang[11]，其采用凝聚式聚類算法與批平均聚類算法相結(jié)合的策略，將近似于同一話題模型的相關(guān)事件綜合在一起作為話題檢測的結(jié)果，從而使 TD 系統(tǒng)具備了回顧相關(guān)事件的能力。HTD 是面向話題檢測中兩種不恰當(dāng)?shù)募僭O(shè)提出的，其中一個(gè)假設(shè)是所有報(bào)道與相關(guān)話題的近似程度都在一個(gè)層次上，而另一個(gè)假設(shè)是每篇報(bào)道只可能相關(guān)于一個(gè)話題。其中，根結(jié)點(diǎn)抽象地代表所有話題；沿有向圖方向延伸的子節(jié)點(diǎn)則描述比父節(jié)點(diǎn)更具體的一類話題。HAC 的一個(gè)重要的缺陷是時(shí)間和空間復(fù)雜度過高，比如 TDT5 總共包含 40 萬篇報(bào)道，直接采用 HAC 的時(shí)間和空間復(fù)雜度分別為 O(n2log(n