輿情衛(wèi)士監(jiān)測(cè)平臺(tái)技術(shù)方案-展示頁
2025-05-10 13:53本頁面
【正文】 處置水平，明確網(wǎng)絡(luò)輿情突發(fā)事件預(yù)防、預(yù)警、應(yīng)對(duì)的程序，使得可及時(shí)、準(zhǔn)確發(fā)布有關(guān)信息，澄清事實(shí)，引導(dǎo)輿論，妥善處理。輿情衛(wèi)士監(jiān)測(cè)系統(tǒng)技術(shù)方案中國移動(dòng)通信集團(tuán)安徽省有限公司安慶分公司2017年5月目錄1 總體需求 3 建設(shè)目標(biāo) 3 功能需求 3 互聯(lián)網(wǎng)海量信息采集子系統(tǒng) 4 海量信息存儲(chǔ)子系統(tǒng) 4 海量信息檢索子系統(tǒng) 5 互聯(lián)網(wǎng)云數(shù)據(jù)分析處理子系統(tǒng) 5 性能需求 6 其他需求 62 技術(shù)方案 7 翼騰云計(jì)算概述 7 總體設(shè)計(jì)概述 9 系統(tǒng)架構(gòu)圖 11 業(yè)務(wù)流程圖 13 數(shù)據(jù)中心簡(jiǎn)介 14 16 16 18 19 21 22 24 26 27 手機(jī)輿情 281 總體需求 建設(shè)目標(biāo)建設(shè)****輿情監(jiān)測(cè)系統(tǒng)，其實(shí)質(zhì)在于利用信息化技術(shù)，建立專業(yè)的網(wǎng)絡(luò)信息監(jiān)測(cè)與管理平臺(tái)，及時(shí)、全面、準(zhǔn)確收集、分析互聯(lián)網(wǎng)上一切與教育領(lǐng)域所相關(guān)的信息，進(jìn)而做好研判和處置工作，健全制度、完善機(jī)制，及時(shí)了解把握情況，準(zhǔn)確判斷輿情發(fā)展趨勢(shì)，掌握工作的主動(dòng)權(quán)。 建設(shè)****輿網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)，以達(dá)到輿情監(jiān)測(cè)與分析應(yīng)對(duì)工作全面覆蓋、有序管理、多方聯(lián)動(dòng)的效果。 功能需求大數(shù)據(jù)時(shí)代，面對(duì)海量的互聯(lián)網(wǎng)數(shù)據(jù)，要充分挖掘并分析出有用的輿情信息，單純靠小規(guī)模的輿情系統(tǒng)軟件已不足以滿足要求。數(shù)據(jù)中心建設(shè)應(yīng)廣泛采用集群應(yīng)用、分布式數(shù)據(jù)存儲(chǔ)、分布式計(jì)算等云技術(shù)。 互聯(lián)網(wǎng)海量信息采集子系統(tǒng)網(wǎng)絡(luò)媒體形式全，可以對(duì)各類網(wǎng)絡(luò)媒體進(jìn)行監(jiān)測(cè)：1）門戶網(wǎng)站：系統(tǒng)可采集以媒體發(fā)布為主的新聞網(wǎng)站的信息；2）論壇：各種形式的BBS、貼吧、論壇、社區(qū)；3）博客：各博客網(wǎng)站的博客信息；4）微博：各微博網(wǎng)站信息監(jiān)測(cè)；5）電子報(bào)：各類報(bào)紙的電子報(bào)的信息監(jiān)測(cè)；6）問答：對(duì)問答類網(wǎng)站的采集；7）視頻：對(duì)視頻網(wǎng)站文字信息的采集；8）WAP：對(duì)WAP網(wǎng)站信息的采集；9）搜索引擎：對(duì)搜索引擎信息的聚合；10）微信公眾賬號(hào)采集。1） 可存貯至少三個(gè)月的歷史數(shù)據(jù)；2） 可通過統(tǒng)一的系統(tǒng)界面監(jiān)測(cè)所有服務(wù)器的運(yùn)行狀況，及時(shí)發(fā)現(xiàn)并處理出現(xiàn)的任何狀況；3） 具有完整的容災(zāi)備份方案。采用群集服務(wù)多服務(wù)器同時(shí)搜索數(shù)據(jù)，有效提高檢索速度，可以達(dá)到每秒處理100萬次的搜索速度。主要技術(shù)和功能包括：（1）漏斗式過濾技術(shù)：采用漏斗式多重過濾技術(shù)，逐層過濾掉無關(guān)干擾信息，呈現(xiàn)給用戶精準(zhǔn)的輿情信息和熱點(diǎn)資訊。（3）要素分析對(duì)所有采集信息，在抽取標(biāo)題、來源網(wǎng)站、來源頻道、發(fā)布人、發(fā)布時(shí)間、鏈接、正文、圖片等元素后，形成結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于輿情庫中。 性能需求1) 常規(guī)監(jiān)測(cè)信息源數(shù)量3萬個(gè)以上；2) 日均采集信息量300萬條以上；3) 信息采集效率在30分鐘以內(nèi)；4) 數(shù)據(jù)中心數(shù)據(jù)可提供PC端、移動(dòng)端等不同方式的信息檢索，檢索效率在5秒鐘以內(nèi)； 其他需求1) 可針對(duì)客戶要求給出詳細(xì)的硬件配置方案；2) 基于數(shù)據(jù)中心的監(jiān)測(cè)平臺(tái)系統(tǒng)架構(gòu)圖；并詳細(xì)描述所采用的技術(shù)及方法等?！坝?jì)算與數(shù)據(jù)”蹺蹺板的平衡已發(fā)生變化，即已經(jīng)到“移動(dòng)計(jì)算要比移動(dòng)數(shù)據(jù)要便宜的多（Moving putation is cheaper than moving data）”，透過這項(xiàng)技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，達(dá)成處理數(shù)以千萬計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大效能的網(wǎng)絡(luò)服務(wù),云計(jì)算的關(guān)鍵技術(shù):1. 虛擬化技術(shù) 虛擬化技術(shù)是指計(jì)算元件在虛擬的基礎(chǔ)上而不是真實(shí)的基礎(chǔ)上運(yùn)行，它可以擴(kuò)大硬件的容量，簡(jiǎn)化軟件的重新配置過程，減少軟件虛擬機(jī)相關(guān)開銷和支持更廣泛的操作系統(tǒng)方面。2. 分布式海量數(shù)據(jù)存儲(chǔ) 云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶服務(wù)，因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式(集群計(jì)算、數(shù)據(jù)冗余和分布式存儲(chǔ))保證數(shù)據(jù)的可靠性。使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS。使用開源NoSql數(shù)據(jù)庫Mongodb和Cassandra解決海量文章的存儲(chǔ)、檢索。Map— Reduce是一種編程模型和任務(wù)調(diào)度模型。另外針對(duì)流式實(shí)時(shí)運(yùn)算采用并行編程模型SpoutBolt,基于開源的JStorm集群實(shí)現(xiàn)實(shí)時(shí)文本挖掘。采用Nagios對(duì)眾多集群進(jìn)行監(jiān)控，使用SALT解決大規(guī)模服務(wù)器的自動(dòng)化管理。 翼騰已建成的數(shù)據(jù)中心使用依托阿里云云平臺(tái)，每天采集互聯(lián)網(wǎng)500W以上的海量文章信息，每個(gè)數(shù)據(jù)中心的出口帶寬達(dá)到10G，每天新增10T以上數(shù)據(jù)文件，使用分布式文件系統(tǒng)、分布式數(shù)據(jù)庫存儲(chǔ)索引、文章等相關(guān)信息，使用軟件方式解決了數(shù)據(jù)可靠性問題，翼騰搜索引擎實(shí)時(shí)的返回各個(gè)SaaS平臺(tái)的檢索需求，能夠支持上萬并發(fā)請(qǐng)求。 總體設(shè)計(jì)概述輿情衛(wèi)士監(jiān)測(cè)平臺(tái)是基于大數(shù)據(jù)平臺(tái)＋行業(yè)解決方案＋面向服務(wù)的整體解決方案，海量數(shù)據(jù)大都為非結(jié)構(gòu)化的文本數(shù)據(jù)，使用NoSql技術(shù)和Hadoop架構(gòu)進(jìn)行有效結(jié)合集成，實(shí)現(xiàn)在采集、存儲(chǔ)、分析、挖掘、檢索、展示等方面的具體要求，并針對(duì)某個(gè)行業(yè)做深入開發(fā)，以服務(wù)的方式提供數(shù)據(jù)產(chǎn)品。大數(shù)
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1