輿情衛(wèi)士監(jiān)測(cè)平臺(tái)技術(shù)方案(參考版)
2025-05-04 13:53本頁面
【正文】 輿情衛(wèi)士手機(jī)客戶端實(shí)現(xiàn)了PC用戶端和手機(jī)端的無縫鏈接,7*24小時(shí)全天候監(jiān)測(cè),互聯(lián)網(wǎng)信息全網(wǎng)搜索,每日為您實(shí)時(shí)的提供輿情信息并輿情預(yù)警信息。HTTPS在用戶客戶端和服務(wù)器間建立了一個(gè)信息安全通道，保證數(shù)據(jù)傳輸?shù)陌踩乐箶?shù)據(jù)在中途被竊取，維護(hù)數(shù)據(jù)的完整性，確保數(shù)據(jù)在傳輸過程中不被改變。（1）客戶端安全：結(jié)合用戶實(shí)際需求采取加密機(jī)制組合：唯一的用戶名和加密密碼、用戶名。系統(tǒng)使用標(biāo)準(zhǔn)格式記錄所有的訪問嘗試并生成易讀的報(bào)告，并可以安全地被傳輸?shù)綌?shù)據(jù)庫系統(tǒng)之中，通過這些數(shù)據(jù)可以實(shí)現(xiàn)審計(jì)、跟蹤和取證。所有安全策略的定制、修改和刪除等操作都通過統(tǒng)一的平臺(tái)來完成，從而達(dá)到統(tǒng)一管理內(nèi)部安全策略的目標(biāo)。 （3）集中的安全策略管理。 （2）Web 環(huán)境的單點(diǎn)登錄。（1）身份認(rèn)證：基于數(shù)字證書，采用高強(qiáng)度的加密和數(shù)字簽名技術(shù)。提供實(shí)時(shí)信息預(yù)警機(jī)制，可將短時(shí)間內(nèi)發(fā)生的突發(fā)熱點(diǎn)事件以及敏感新聞通過郵件或者APP預(yù)警通知用戶。（2）專題分析技術(shù)：專題分析技術(shù)用于分析輿情事件或熱點(diǎn)事件在網(wǎng)絡(luò)中的傳播情況。熱點(diǎn)自動(dòng)追蹤：對(duì)熱點(diǎn)信息的持續(xù)追蹤，并通過趨勢(shì)分析圖和傳播鏈分析圖等技術(shù)幫助用戶了解熱點(diǎn)事件的報(bào)道趨勢(shì)。敏感信息分析技術(shù)：負(fù)面敏感信息分析是本系統(tǒng)最重要的功能之一，通過預(yù)警功能在第一時(shí)間將負(fù)面或敏感信息告知用戶。（1）分類技術(shù)：系統(tǒng)內(nèi)置一套較為科學(xué)和完整的輿情分類體系，通過自動(dòng)分類技術(shù)，對(duì)用戶關(guān)注的敏感信息和國計(jì)民生的各個(gè)重點(diǎn)領(lǐng)域進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)負(fù)面、有害信息。（4）數(shù)據(jù)挖掘：關(guān)鍵詞是本系統(tǒng)篩選輿情信息的主要規(guī)則，此外還采用數(shù)據(jù)挖掘措施分析出重要輿情信息和有價(jià)值的敏感信息，例如：1）分析出輿情高發(fā)網(wǎng)站及頻道；2）挖掘文本中的重要信息，如聯(lián)系電話、號(hào)碼、郵件地址等信息；3）分析出輿情高發(fā)人群；4）推薦網(wǎng)民關(guān)注度高的輿情；5）篩選新詞、熱門話題；（5）關(guān)聯(lián)性分析：采用智能關(guān)聯(lián)技術(shù)將與一條新聞相關(guān)的新聞、論壇評(píng)論、博客評(píng)論等信息關(guān)聯(lián)到一起，幫助用戶多方位地了解新聞事件的進(jìn)展和其他報(bào)道情況，以及相關(guān)的網(wǎng)民評(píng)論等信息，全面地掌握各種相關(guān)信息。（2）中文分詞：采用基于自然語言處理技術(shù)的中文分詞技術(shù)，對(duì)全文做文本處理，為輿情分類、專題聚類、自動(dòng)摘要、語義分析、檢索等提供基礎(chǔ)。信息及數(shù)據(jù)處理主要是針對(duì)采集入庫后的數(shù)據(jù)進(jìn)行整理、處理。大數(shù)據(jù)的核心和目標(biāo)就是預(yù)測(cè)，具體到輿情服務(wù)，輿情工作人員從互聯(lián)網(wǎng)浩如煙海的數(shù)據(jù)中挖掘信息、判斷趨勢(shì)、提高效益，雖然獲得廣泛且實(shí)際的應(yīng)用，但還遠(yuǎn)遠(yuǎn)不夠。基于數(shù)據(jù)分析，能否提煉出獨(dú)到、高質(zhì)量的觀點(diǎn)，在凌亂紛繁的數(shù)據(jù)背后找到更符合客戶要求的輿情產(chǎn)品和服務(wù)，并進(jìn)行針對(duì)性的調(diào)整和優(yōu)化，這是大數(shù)據(jù)時(shí)代輿情最大的變量。同時(shí)，大數(shù)據(jù)也有價(jià)值密度低、傳播速度快等特點(diǎn)，數(shù)據(jù)分析的模式是否科學(xué)，這將直接影響數(shù)據(jù)分析的質(zhì)量。目前，數(shù)據(jù)的可獲得度已經(jīng)空前提高，我們可以分析更多的數(shù)據(jù)，有時(shí)候甚至可以處理和某個(gè)特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，實(shí)現(xiàn)真正的大數(shù)據(jù)挖掘和分析?；ヂ?lián)網(wǎng)云數(shù)據(jù)分析處理子系統(tǒng)包含信息及數(shù)據(jù)處理和輿情分析。對(duì)實(shí)時(shí)內(nèi)存索引，增加、刪除索引都是實(shí)時(shí)流，但是頻繁索引修改會(huì)導(dǎo)致索引拉鏈碎片增多，需要有專門的任務(wù)定時(shí)整理索引拉鏈，一方面是清理碎片，緊致排列索引拉鏈；另一方面也需要對(duì)過長(zhǎng)的拉鏈進(jìn)行截?cái)?。?duì)時(shí)效性低的數(shù)據(jù)也有不同的處理方式，對(duì)于數(shù)據(jù)量比較小的資源，單機(jī)索引能完全涵蓋，此時(shí)只需要周期性的構(gòu)建索引然后進(jìn)行索引切換就可以了；對(duì)于大數(shù)據(jù)量的資源，單機(jī)索引無法涵蓋，索引必須分布到多臺(tái)機(jī)器上，數(shù)據(jù)中心搜索現(xiàn)在是按照doc_id進(jìn)行切分，一個(gè)doc對(duì)應(yīng)的所有term都會(huì)分布到同一臺(tái)機(jī)器上。以下簡(jiǎn)單列舉了不同時(shí)效性和數(shù)據(jù)量條件下的索引方式：實(shí)時(shí)索引需要實(shí)時(shí)支持索引的增加以及刪除操作，更新操作可以看作是刪除操作和增加操作的組合。時(shí)效性指的是一個(gè)資源的數(shù)據(jù)從修改到生效需要的時(shí)間，時(shí)效性高表示生效時(shí)間短，有的資源甚至需要立即生效；而生效時(shí)間長(zhǎng)的資源也會(huì)分成很多檔次，有小時(shí)級(jí)的，有天級(jí)的，甚至有更長(zhǎng)時(shí)間的靜態(tài)資源。然后把建立的索引從HDFS分發(fā)到各個(gè)索引服務(wù)器。文章經(jīng)由采集服務(wù)器采集，發(fā)送到消息隊(duì)列中，搜索客戶端獲取文章內(nèi)容，實(shí)時(shí)建立索引，并對(duì)外提供實(shí)時(shí)數(shù)據(jù)檢索服務(wù)。采用Lucene+Hadoop分布式并行計(jì)算搜索框架，能對(duì)T級(jí)以上索引提供7*24小時(shí)搜索服務(wù)。利用MongoDB來一體化解決采集文章數(shù)據(jù)（高并發(fā)）存儲(chǔ)和相關(guān)的查詢統(tǒng)計(jì)業(yè)務(wù)（如歷史文章查詢），并解決存儲(chǔ)服務(wù)的長(zhǎng)期運(yùn)營的高可用性問題。通過自動(dòng)識(shí)別技術(shù)識(shí)別并抽取網(wǎng)頁的要素，包括：標(biāo)題、來源網(wǎng)站、來源頻道、發(fā)布人、發(fā)布時(shí)間、鏈接（URL）、正文、圖片、快照、表格，自動(dòng)剔除廣告（圖片或flash）等垃圾部分，存儲(chǔ)為統(tǒng)一的結(jié)構(gòu)化信息，供后續(xù)分析、檢索、查詢、統(tǒng)計(jì)和展示。10）微信公眾賬號(hào)采集實(shí)現(xiàn)對(duì)微信公眾賬號(hào)信息的監(jiān)控和數(shù)據(jù)采集。6）支持驗(yàn)證碼采集；支持多頁合并采集。定點(diǎn)采集可確保第一時(shí)間采集到重點(diǎn)網(wǎng)站的信息，全網(wǎng)搜索可進(jìn)行傳播全面性的補(bǔ)充采集；1）定點(diǎn)采集：系統(tǒng)內(nèi)置的50萬欄目，采用定點(diǎn)采集方式；
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1