【正文】 饋排序到首頁。第二步是使用爬蟲獲取數(shù)據(jù)。爬蟲怎么寫是個(gè)非常大的話題，在這里不展開說明，需要提一嘴的是，爬蟲是個(gè)門檻很低但是上升曲線極高的技術(shù)。難度在于：網(wǎng)站五花八門；反扒策略各有不同；數(shù)據(jù)獲取后怎么提取到想要的內(nèi)容。數(shù)據(jù)檢索與聚合數(shù)據(jù)獲取下來后哪些是你關(guān)心的、哪些是垃圾噪聲，需要用一些NLP處理算法來解決這些問題。這方面門檻高、難度大。首先大規(guī)模的數(shù)據(jù)如何被有效的檢索使用就是個(gè)難題。比如一天收錄一百萬個(gè)頁面（真實(shí)環(huán)境往往比這個(gè)數(shù)量級高很多），上百G的數(shù)據(jù)如何存儲、如何檢索都是難題。值得高興的是業(yè)內(nèi)已經(jīng)有一些成熟的方案，比如使用solr或者es來做存儲檢索，但隨著數(shù)據(jù)量的增多、增大，這些也會面臨著各種問題。通常對熱門的判斷邏輯是被各家網(wǎng)站轉(zhuǎn)載、報(bào)道的多，所以使用NLP的手段來做相似性計(jì)算是必須的，業(yè)內(nèi)常用的方法有Simhash或者計(jì)算相似性余弦夾角。有些場景不單單是文章相似，還需要把類似談及的文章都做聚合，這時(shí)就需要用到一些聚類算法，例如LDA算法。從實(shí)踐經(jīng)驗(yàn)來看，聚類算法的效果良莠不齊，需要根據(jù)文本特征的情況來測試。目前輿情監(jiān)測的現(xiàn)狀存在很多待改進(jìn)的地方。首先，手工監(jiān)測存在天然局限性。通過安排固定人手24小時(shí)值班，不間斷地瀏覽目標(biāo)站點(diǎn)并搜索目標(biāo)關(guān)鍵詞，是在缺少自動(dòng)化系統(tǒng)時(shí)最直接也是最初級的輿情監(jiān)測方式。由于受到每個(gè)人主觀思想的限制，手工監(jiān)測總會有觀察盲區(qū)，總會有覺得不重要但事后被證明很嚴(yán)重的地方，且手工無法察覺到一些站點(diǎn)或者一些偏僻的網(wǎng)頁內(nèi)容發(fā)生改變；同時(shí)，人不是機(jī)器，長期反復(fù)監(jiān)測容易導(dǎo)致疲勞，經(jīng)常會使得該判斷出來的輿情，一不留神就漏掉了。這些都會在實(shí)時(shí)性和準(zhǔn)確性上存在很大波動(dòng)。其次是過度依賴搜索引擎。人們往往認(rèn)為在網(wǎng)絡(luò)輿情的大海里也只有搜索引擎才可能具備撈針的本領(lǐng)。但是，搜索引擎仍然具有不少局限性。除了搜索結(jié)果受關(guān)鍵詞影響很大外，搜索引擎返回的結(jié)果往往來自不受任何訪問限制的網(wǎng)站，而諸如論壇等需要登錄的網(wǎng)站則完全被排除在外。但是網(wǎng)民發(fā)表意見最多的地方，恰恰是這些提供互動(dòng)功能的網(wǎng)站。更進(jìn)一步的，搜索引擎的網(wǎng)絡(luò)爬蟲具有一定的時(shí)延性，因此不能實(shí)時(shí)搜索到最新的網(wǎng)頁更新。因此，搜索引擎不能為我們提供問題的全貌，因?yàn)樗会槍﹃P(guān)鍵詞而不針對問題，所以談不上全面性；搜索引擎也不能在第一時(shí)間得到我們所想要的結(jié)果，因?yàn)椴粌H是它的內(nèi)容更新不夠快，而且它也不能提供針對時(shí)效性的服務(wù)，所以談不上及時(shí)性；搜索引擎只能在海量網(wǎng)頁中返回另一個(gè)海量的結(jié)果，而且是以雜亂無章的形式，對于我們關(guān)心什么，它一無所知，所以它給出的結(jié)果是所有人都關(guān)心的，而非我關(guān)心的，因此也談不上準(zhǔn)確性?？梢姡覀儾荒芡耆蕾囁阉饕鎭肀O(jiān)測網(wǎng)絡(luò)輿情，需要提出全新的技術(shù)手段來獲知網(wǎng)絡(luò)輿情，并跟蹤和分析輿情。因此，要想保證輿情監(jiān)測的實(shí)時(shí)性、全面性和準(zhǔn)確性，最可靠的辦法就是使用自動(dòng)化的多瑞科輿情數(shù)據(jù)分析站系統(tǒng)輿情監(jiān)測系統(tǒng)，依靠軟件系統(tǒng)來消除人工方式的不足，依靠軟件系統(tǒng)來定點(diǎn)的監(jiān)測目標(biāo)站點(diǎn)及整個(gè)網(wǎng)絡(luò)，跟蹤分析各個(gè)輿情主題的發(fā)展軌跡，并自動(dòng)地整理生成日報(bào)/周報(bào)等報(bào)告，將輿情與政府的日常工作業(yè)務(wù)有機(jī)整合在一起.第五篇：輿情監(jiān)測系統(tǒng)的主要流程輿情監(jiān)控，整合互聯(lián)網(wǎng)信息采集技術(shù)及信息智能處理技術(shù)通過對互聯(lián)網(wǎng)海量信息自動(dòng)抓取、自動(dòng)分類聚類、主題檢測、專題聚焦，實(shí)現(xiàn)用戶的網(wǎng)絡(luò)輿情監(jiān)測和新聞專題追蹤等信息需求，形成簡報(bào)、報(bào)告、圖表等分析結(jié)果，為客戶全面掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)。天互云鏡輿情監(jiān)控系統(tǒng)的大致工作流程分為如下三個(gè)部分：。針對各種類型的危機(jī)事件，制定比較詳盡的判斷標(biāo)準(zhǔn)和預(yù)警方案，以做到有所準(zhǔn)備，一旦危機(jī)出現(xiàn)便有章可循、對癥下藥。此步驟主要是確定好監(jiān)控的目標(biāo)網(wǎng)站和過濾關(guān)鍵詞。保持第一時(shí)間知悉事態(tài)發(fā)展，加強(qiáng)監(jiān)測力度。這個(gè)可以通過第一時(shí)間大量采集、匯總各種互聯(lián)網(wǎng)上的信息。即與輿論危機(jī)涉及的政府相關(guān)部門保持緊密溝通。建立和運(yùn)用這種信息溝通機(jī)制，已經(jīng)成為網(wǎng)絡(luò)輿情管理部門的重要經(jīng)驗(yàn)。以上海為例，無論在涉日輿情、地鐵調(diào)價(jià)，還是城管打人等“網(wǎng)絡(luò)熱點(diǎn)輿情”處理上，各部門協(xié)同作戰(zhàn)、相互配合、共同商議，判斷危機(jī)走向，對預(yù)案進(jìn)行適當(dāng)修正和調(diào)整，以符合實(shí)際所需是危機(jī)應(yīng)對的重要措施。