可行性報告-公眾輿論安全監(jiān)測系統(tǒng)的研制與應(yīng)用-文庫吧資料
2024-08-09 11:28本頁面
【正文】 系統(tǒng)的模塊主要分為采集器、數(shù)據(jù)庫、數(shù)據(jù)分析、應(yīng)用服務(wù)，如圖5所示。系統(tǒng)將對所有信息進(jìn)行智能研判和分析，統(tǒng)計(jì)匯總輿論走勢、輿論來源，并推薦閱讀值得重點(diǎn)關(guān)注的文章，形成閱讀性良好的報告。另外，通訊模塊還包括與其它外部系統(tǒng)（例如公安系統(tǒng)）的數(shù)據(jù)接口，可以將相關(guān)信息發(fā)送到外部系統(tǒng)。（2）通訊模塊根據(jù)警報類型及級別觸發(fā)不同的通訊方式將信息發(fā)送至相關(guān)人員。圖4 信息發(fā)送圖示（1）預(yù)警模塊實(shí)時監(jiān)控采集數(shù)據(jù)，根據(jù)設(shè)定的預(yù)警條件觸發(fā)數(shù)據(jù)警報并發(fā)送到通訊模塊。如果報表種類特別多，可以采用開源的報表制作庫。根據(jù)不同用戶的需求可以靈活的定義多種報表模板。報告的生成需定義模板，然后系統(tǒng)會根據(jù)模板和實(shí)際的數(shù)據(jù)生成最終的報表，如圖3所示。 報告自動生成本系統(tǒng)將實(shí)現(xiàn)面向公共安全和公安系統(tǒng)的報告訂制與自動生成功能。對過分割的聚類結(jié)果進(jìn)行人工指導(dǎo)的合并，同時去除那些自成一類的野值點(diǎn)。假設(shè)我們一共有K個話題，那么我們需要設(shè)置一個合適的類別數(shù)用于聚類，該數(shù)目應(yīng)該大于K。這是因?yàn)轭悇e分界面可能更簡單了，另外，如果只有少量的樣本這種方法也可以得到不錯的效果。對于垃圾文章過濾來說，雖然很多文章都屬于垃圾文章，但是這些文章也自然的聚成一些簡單的類別。如果訓(xùn)練集太大，對訓(xùn)練集中的每一個數(shù)據(jù)進(jìn)行標(biāo)注的代價是非常昂貴的。最終輸出的分類器為：。從中選出最小的一個，記為，計(jì)算。對每一個，歸一化。Adaboost的具體算法是：初始化：設(shè)正負(fù)樣本分別有A個和B個。第i篇文章可以用特征向量表示為：針對每一維有一個弱分類器：其中，是一個閾值，該閾值保證弱分類器的正確率在50%以上。Adaboost方法需要一個標(biāo)注的訓(xùn)練集，以下以垃圾文件過濾為例進(jìn)行說明。每一篇文章的特征是一個維數(shù)與關(guān)鍵詞表中詞語個數(shù)相同的向量。首先我們提取關(guān)鍵詞向量作為文本的特征。而針對不同話題（醫(yī)療，教育，公安等）的分類，我們可以簡單地將教育和公安等話題分為非醫(yī)療類文章。因此，對于垃圾文章過濾和不同熱點(diǎn)話題文章的分類我們可以采用統(tǒng)一的兩類分類器設(shè)計(jì)方法。我們把垃圾文章的過濾看成是一個分類問題，即對于一篇文章，判斷其是垃圾文章或者非垃圾文章。圖2 新聞采集架構(gòu)圖示 數(shù)據(jù)的分析數(shù)據(jù)分析是該課題的最重要和核心的部分。新聞采集模塊會采集新的新聞，而評論采集系統(tǒng)則會選擇系統(tǒng)里面采集到的指定時間段內(nèi)的新聞去采集其評論，并在數(shù)據(jù)層面將評論和其所針對的新聞關(guān)聯(lián)起來。考慮到新聞的時效性和系統(tǒng)的性能及反應(yīng)速度，系統(tǒng)將只對指定的時間內(nèi)（例如最近一個月內(nèi)）的新聞采集其評論的更新。采集的架構(gòu)設(shè)計(jì)如圖1所示。在關(guān)注微博數(shù)量不是特別多的情況下，用一個ID就足夠了。為完成該應(yīng)用系統(tǒng)，需要進(jìn)行平臺的設(shè)計(jì)和實(shí)現(xiàn) 數(shù)據(jù)的收集(1)微博的采集由于微博數(shù)量眾多，并且不少微博系統(tǒng)需要你有了微博的ID以后才可以查看到別人的微博信息，為簡化采集流程，本系統(tǒng)的微博采集的主要思路是我們會注冊一些ID去關(guān)注（FOLLOW）那些作為采集目標(biāo)的微博，這樣登錄這些ID以后就會看到所關(guān)注的微博的更新。在該課題中，還計(jì)劃和公安部門的內(nèi)網(wǎng)相聯(lián)，從而可以將一般的信息和報告及時在公安部門的內(nèi)網(wǎng)發(fā)布，讓普通的公安人員閱讀。(四)信息發(fā)送。(三)報告自動生成。申請人單位已經(jīng)具有了文章的傾向性分析算法。(2) 對不同類型的熱點(diǎn)話題進(jìn)行分類是把文章按照不同的政府部分進(jìn)行分揀，如：把文章按照醫(yī)療衛(wèi)生、公安等部分進(jìn)行分揀。數(shù)據(jù)分析是該課題的最重要和核心的部分，包括垃圾文章過濾、不同話題文章的分類和文章的傾向性分析三個子任務(wù)。因此，這部分的工作集中在微博和新聞評論的收集子系統(tǒng)的研發(fā)，以及在用戶行業(yè)相關(guān)的論壇、博客和新聞?wù)军c(diǎn)進(jìn)行自動的數(shù)據(jù)收集和整理。項(xiàng)目申請人所在單位已經(jīng)具備了一般的博客和論壇的數(shù)據(jù)收集子系統(tǒng)。具體說，本課題的研究和開發(fā)任務(wù)包括如下幾個方面：(一)數(shù)據(jù)收集。系統(tǒng)集成了微博和新聞評論的采集功能，系統(tǒng)具備垃圾文章過濾、不同話題文章的分類功能的先進(jìn)數(shù)據(jù)分析能力；系統(tǒng)還可以自動生成報告和發(fā)送預(yù)警信息。這些正是開展該課題的動機(jī)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1