輿情監(jiān)控管理系統(tǒng)(編輯修改稿)
2025-05-15 00:49 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 系統(tǒng)利用中文分詞技術(shù)、自然語(yǔ)言處理技術(shù)、中文信息處理技術(shù)，對(duì)信息進(jìn)行垃圾過(guò)濾、去重、相似性聚類、情感分析、提取摘要、自動(dòng)聚類等處理，配合專業(yè)分析師生成詳細(xì)的輿情分析報(bào)告． 自動(dòng)采集系統(tǒng)是輿情監(jiān)測(cè)系統(tǒng)的核心與基礎(chǔ)，因此評(píng)價(jià)一個(gè)輿情監(jiān)測(cè)系統(tǒng)是否優(yōu)秀的重要指標(biāo)就是自動(dòng)采集子系統(tǒng)能否將目標(biāo)信息及時(shí)全面地采集到系統(tǒng)中． 信息采集子系統(tǒng)的職責(zé)是對(duì)全部網(wǎng)站進(jìn)行自動(dòng)采集．系統(tǒng)內(nèi)置重點(diǎn)網(wǎng)站有： (１)新聞?lì)愰T(mén)戶網(wǎng)站：如新浪網(wǎng)、網(wǎng)易、人民網(wǎng)、雅虎...... (２)政府機(jī)構(gòu)門(mén)戶網(wǎng)站：如首都之窗、中國(guó)政府網(wǎng)、各地政府網(wǎng)...... (３)信息資訊網(wǎng)站：各地信息港、行業(yè)咨詢網(wǎng)...... (４)交互性質(zhì)網(wǎng)站：如強(qiáng)國(guó)論壇、天涯社區(qū)、西祠社區(qū)、網(wǎng)易區(qū)、新浪論壇、搜狐社區(qū)、BBS貼吧...... (５)傳統(tǒng)媒體:人民日?qǐng)?bào)、參考消息、中國(guó)日?qǐng)?bào)、解放軍報(bào)、各省市地區(qū)報(bào)紙、各地新聞網(wǎng)等媒體網(wǎng)絡(luò)版 (６)博客：新浪博客、騰訊博客、網(wǎng)易博客、博客中國(guó)、博客網(wǎng)....... (７)微博：Twitter、新浪微博、騰訊微博、網(wǎng)易微博、搜狐微博...... (８)視頻網(wǎng)站：Youtube、優(yōu)酷、土豆網(wǎng)、５６視頻、酷６網(wǎng)...... (９)搜索引擎：Google、BaiDu、Bing、Yahoo、搜搜、有道... ... (１０)社交網(wǎng)站：FaceBook、Google、人人網(wǎng)、豆瓣、開(kāi)心網(wǎng)、、空間...... 信息采集了系統(tǒng)可以抽取所有新聞文章或主題貼或著最新主題貼內(nèi)容，還可以抽取某個(gè)主題貼的所有回復(fù)貼或著最新回復(fù)貼的內(nèi)容．即可指定某個(gè)目標(biāo)網(wǎng)站進(jìn)行監(jiān)測(cè)，也可以不指定目標(biāo)網(wǎng)站對(duì)于全球范圍內(nèi)網(wǎng)站進(jìn)行監(jiān)測(cè)，或著進(jìn)行兩者混合監(jiān)測(cè)．即可以監(jiān)測(cè)國(guó)內(nèi)網(wǎng)站，也可以監(jiān)測(cè)國(guó)外網(wǎng)站如BBC,CNN等．信息采集了系統(tǒng)還可以對(duì)于基于應(yīng)用程序的聊天室程序監(jiān)測(cè)，如聊天室． 自主研發(fā)了專為輿情系統(tǒng)設(shè)計(jì)的智能網(wǎng)絡(luò)爬蟲(chóng)(spider)系統(tǒng)，可以實(shí)現(xiàn)高質(zhì)量和快速的抓取，還支持對(duì)新浪微博、騰訊微博、搜狐微博、網(wǎng)易微博等主要微博平臺(tái)信息的實(shí)時(shí)抓取． 輿情監(jiān)測(cè)系統(tǒng)對(duì)于人工定義的重點(diǎn)站點(diǎn)的新聞、論壇、博客等實(shí)現(xiàn)全面的抓取，同時(shí)支持對(duì)主流新聞網(wǎng)站分頁(yè)、評(píng)論內(nèi)容的采集以及對(duì)論壇點(diǎn)擊數(shù)、回貼數(shù)、回帖內(nèi)容的抓?。 ≈悄芘老x(chóng)系統(tǒng)還可以自動(dòng)跟蹤多個(gè)搜索引擎的搜索結(jié)果，對(duì)于系統(tǒng)抓取進(jìn)行補(bǔ)充，確保信息全面無(wú)遺漏． 本子系統(tǒng)可以部署在多臺(tái)計(jì)算機(jī)上，實(shí)現(xiàn)高效的多線程同時(shí)并行處理，減少單一服務(wù)器采集壓力． 可自動(dòng)處理并保存中文，英文，阿拉伯語(yǔ)，法文，德文，日語(yǔ)，韓語(yǔ)等多國(guó)語(yǔ)言，且有多國(guó)語(yǔ)言同時(shí)并存監(jiān)測(cè)的實(shí)際案例． 對(duì)于文章類型網(wǎng)頁(yè)，可以無(wú)需配置，直接自動(dòng)提取文章正文與標(biāo)題，以及作者發(fā)布日期，來(lái)源等，自動(dòng)去除廣，欄目，版權(quán)等無(wú)關(guān)的垃圾內(nèi)容．這個(gè)功能對(duì)于輿情監(jiān)測(cè)非常重要，可以大大免除配置的負(fù)擔(dān)．該功能經(jīng)過(guò)我們的多年測(cè)試，對(duì)于絕大部分文章型頁(yè)面都可自動(dòng)準(zhǔn)確識(shí)別． 可定時(shí)行，也可７＊２４小時(shí)運(yùn)行，可設(shè)置采集時(shí)間間隔最短為１分鐘 基于機(jī)器學(xué)習(xí)的垃圾過(guò)濾機(jī)制可以自動(dòng)過(guò)濾廣告、水貼等無(wú)效垃圾信息． 采用文章相似性技術(shù)，根據(jù)文檔內(nèi)容的匹配程度確定是否重復(fù)．去重的級(jí)別；根據(jù)不同的需要特點(diǎn)分為：URL去重、標(biāo)題去重、正文去重三個(gè)級(jí)別． HTML內(nèi)容提取 采用自主知識(shí)產(chǎn)權(quán)的HTML網(wǎng)頁(yè)文本萃取技術(shù)自動(dòng)提取任意復(fù)雜網(wǎng)頁(yè)中的標(biāo)題、內(nèi)容、作者、發(fā)布時(shí)間等信息，自動(dòng)跟蹤文章分頁(yè)；對(duì)于論壇信息自動(dòng)分析主貼、回帖以及作者等信息． 對(duì)于每個(gè)經(jīng)過(guò)抓取和處理的網(wǎng)頁(yè)，系統(tǒng)都存有一個(gè)純文本的備份，方便用戶快速瀏覽，也方便用戶查看被刪除的文章或帖子 綜合網(wǎng)站重要程度、文章出現(xiàn)位置、主題相
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1