【正文】 饋排序到首頁(yè)。第二步是使用爬蟲獲取數(shù)據(jù)。爬蟲怎么寫是個(gè)非常大的話題，在這里不展開(kāi)說(shuō)明，需要提一嘴的是，爬蟲是個(gè)門檻很低但是上升曲線極高的技術(shù)。難度在于：網(wǎng)站五花八門；反扒策略各有不同；數(shù)據(jù)獲取后怎么提取到想要的內(nèi)容。數(shù)據(jù)檢索與聚合數(shù)據(jù)獲取下來(lái)后哪些是你關(guān)心的、哪些是垃圾噪聲，需要用一些NLP處理算法來(lái)解決這些問(wèn)題。這方面門檻高、難度大。首先大規(guī)模的數(shù)據(jù)如何被有效的檢索使用就是個(gè)難題。比如一天收錄一百萬(wàn)個(gè)頁(yè)面（真實(shí)環(huán)境往往比這個(gè)數(shù)量級(jí)高很多），上百G的數(shù)據(jù)如何存儲(chǔ)、如何檢索都是難題。值得高興的是業(yè)內(nèi)已經(jīng)有一些成熟的方案，比如使用solr或者es來(lái)做存儲(chǔ)檢索，但隨著數(shù)據(jù)量的增多、增大，這些也會(huì)面臨著各種問(wèn)題。通常對(duì)熱門的判斷邏輯是被各家網(wǎng)站轉(zhuǎn)載、報(bào)道的多，所以使用NLP的手段來(lái)做相似性計(jì)算是必須的，業(yè)內(nèi)常用的方法有Simhash或者計(jì)算相似性余弦?jiàn)A角。有些場(chǎng)景不單單是文章相似，還需要把類似談及的文章都做聚合，這時(shí)就需要用到一些聚類算法，例如LDA算法。從實(shí)踐經(jīng)驗(yàn)來(lái)看，聚類算法的效果良莠不齊，需要根據(jù)文本特征的情況來(lái)測(cè)試。目前輿情監(jiān)測(cè)的現(xiàn)狀存在很多待改進(jìn)的地方。首先，手工監(jiān)測(cè)存在天然局限性。通過(guò)安排固定人手24小時(shí)值班，不間斷地瀏覽目標(biāo)站點(diǎn)并搜索目標(biāo)關(guān)鍵詞，是在缺少自動(dòng)化系統(tǒng)時(shí)最直接也是最初級(jí)的輿情監(jiān)測(cè)方式。由于受到每個(gè)人主觀思想的限制，手工監(jiān)測(cè)總會(huì)有觀察盲區(qū)，總會(huì)有覺(jué)得不重要但事后被證明很嚴(yán)重的地方，且手工無(wú)法察覺(jué)到一些站點(diǎn)或者一些偏僻的網(wǎng)頁(yè)內(nèi)容發(fā)生改變；同時(shí)，人不是機(jī)器，長(zhǎng)期反復(fù)監(jiān)測(cè)容易導(dǎo)致疲勞，經(jīng)常會(huì)使得該判斷出來(lái)的輿情，一不留神就漏掉了。這些都會(huì)在實(shí)時(shí)性和準(zhǔn)確性上存在很大波動(dòng)。其次是過(guò)度依賴搜索引擎。人們往往認(rèn)為在網(wǎng)絡(luò)輿情的大海里也只有搜索引擎才可能具備撈針的本領(lǐng)。但是，搜索引擎仍然具有不少局限性。除了搜索結(jié)果受關(guān)鍵詞影響很大外，搜索引擎返回的結(jié)果往往來(lái)自不受任何訪問(wèn)限制的網(wǎng)站，而諸如論壇等需要登錄的網(wǎng)站則完全被排除在外。但是網(wǎng)民發(fā)表意見(jiàn)最多的地方，恰恰是這些提供互動(dòng)功能的網(wǎng)站。更進(jìn)一步的，搜索引擎的網(wǎng)絡(luò)爬蟲具有一定的時(shí)延性，因此不能實(shí)時(shí)搜索到最新的網(wǎng)頁(yè)更新。因此，搜索引擎不能為我們提供問(wèn)題的全貌，因?yàn)樗会槍?duì)關(guān)鍵詞而不針對(duì)問(wèn)題，所以談不上全面性；搜索引擎也不能在第一時(shí)間得到我們所想要的結(jié)果，因?yàn)椴粌H是它的內(nèi)容更新不夠快，而且它也不能提供針對(duì)時(shí)效性的服務(wù)，所以談不上及時(shí)性；搜索引擎只能在海量網(wǎng)頁(yè)中返回另一個(gè)海量的結(jié)果，而且是以雜亂無(wú)章的形式，對(duì)于我們關(guān)心什么，它一無(wú)所知，所以它給出的結(jié)果是所有人都關(guān)心的，而非我關(guān)心的，因此也談不上準(zhǔn)確性?？梢?jiàn)，我們不能完全依賴搜索引擎來(lái)監(jiān)測(cè)網(wǎng)絡(luò)輿情，需要提出全新的技術(shù)手段來(lái)獲知網(wǎng)絡(luò)輿情，并跟蹤和分析輿情。因此，要想保證輿情監(jiān)測(cè)的實(shí)時(shí)性、全面性和準(zhǔn)確性，最可靠的辦法就是使用自動(dòng)化的多瑞科輿情數(shù)據(jù)分析站系統(tǒng)輿情監(jiān)測(cè)系統(tǒng)，依靠軟件系統(tǒng)來(lái)消除人工方式的不足，依靠軟件系統(tǒng)來(lái)定點(diǎn)的監(jiān)測(cè)目標(biāo)站點(diǎn)及整個(gè)網(wǎng)絡(luò)，跟蹤分析各個(gè)輿情主題的發(fā)展軌跡，并自動(dòng)地整理生成日?qǐng)?bào)/周報(bào)等報(bào)告，將輿情與政府的日常工作業(yè)務(wù)有機(jī)整合在一起.第五篇：輿情監(jiān)測(cè)系統(tǒng)的主要流程輿情監(jiān)控，整合互聯(lián)網(wǎng)信息采集技術(shù)及信息智能處理技術(shù)通過(guò)對(duì)互聯(lián)網(wǎng)海量信息自動(dòng)抓取、自動(dòng)分類聚類、主題檢測(cè)、專題聚焦，實(shí)現(xiàn)用戶的網(wǎng)絡(luò)輿情監(jiān)測(cè)和新聞專題追蹤等信息需求，形成簡(jiǎn)報(bào)、報(bào)告、圖表等分析結(jié)果，為客戶全面掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)。天互云鏡輿情監(jiān)控系統(tǒng)的大致工作流程分為如下三個(gè)部分：。針對(duì)各種類型的危機(jī)事件，制定比較詳盡的判斷標(biāo)準(zhǔn)和預(yù)警方案，以做到有所準(zhǔn)備，一旦危機(jī)出現(xiàn)便有章可循、對(duì)癥下藥。此步驟主要是確定好監(jiān)控的目標(biāo)網(wǎng)站和過(guò)濾關(guān)鍵詞。保持第一時(shí)間知悉事態(tài)發(fā)展，加強(qiáng)監(jiān)測(cè)力度。這個(gè)可以通過(guò)第一時(shí)間大量采集、匯總各種互聯(lián)網(wǎng)上的信息。即與輿論危機(jī)涉及的政府相關(guān)部門保持緊密溝通。建立和運(yùn)用這種信息溝通機(jī)制，已經(jīng)成為網(wǎng)絡(luò)輿情管理部門的重要經(jīng)驗(yàn)。以上海為例，無(wú)論在涉日輿情、地鐵調(diào)價(jià)，還是城管打人等“網(wǎng)絡(luò)熱點(diǎn)輿情”處理上，各部門協(xié)同作戰(zhàn)、相互配合、共同商議，判斷危機(jī)走向，對(duì)預(yù)案進(jìn)行適當(dāng)修正和調(diào)整，以符合實(shí)際所需是危機(jī)應(yīng)對(duì)的重要措施。