輿情衛(wèi)士監(jiān)測(cè)平臺(tái)技術(shù)方案-文庫(kù)吧
2025-04-16 13:53 本頁(yè)面
【正文】 計(jì)算的關(guān)鍵技術(shù):1. 虛擬化技術(shù) 虛擬化技術(shù)是指計(jì)算元件在虛擬的基礎(chǔ)上而不是真實(shí)的基礎(chǔ)上運(yùn)行，它可以擴(kuò)大硬件的容量，簡(jiǎn)化軟件的重新配置過(guò)程，減少軟件虛擬機(jī)相關(guān)開(kāi)銷(xiāo)和支持更廣泛的操作系統(tǒng)方面。虛擬化技術(shù)主要應(yīng)用在CPU、操作系統(tǒng)、服務(wù)器等多個(gè)方面，是提高服務(wù)效率的最佳解決方案, 以PaaS為核心來(lái)構(gòu)建和運(yùn)營(yíng)新一代的SaaS應(yīng)用，通過(guò)與移動(dòng)運(yùn)營(yíng)商合作共建SaaS輿情應(yīng)用系統(tǒng)，解決眾多中小企業(yè)輿情需求，OpenStack提供了比較成熟的PaaS解決方案。2. 分布式海量數(shù)據(jù)存儲(chǔ) 云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶(hù)服務(wù)，因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式(集群計(jì)算、數(shù)據(jù)冗余和分布式存儲(chǔ))保證數(shù)據(jù)的可靠性。冗余的方式通過(guò)任務(wù)分解和集群，用低配機(jī)器替代超級(jí)計(jì)算機(jī)的性能來(lái)保證低成本，這種方式保證分布式數(shù)據(jù)的高可用、高可靠和經(jīng)濟(jì)性，即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Hadoop團(tuán)隊(duì)開(kāi)發(fā)的GFS的開(kāi)源實(shí)現(xiàn)HDFS。3. 海量數(shù)據(jù)管理技術(shù) 云計(jì)算需要對(duì)分布的、海量的數(shù)據(jù)進(jìn)行處理、分析，因此，數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。使用開(kāi)源NoSql數(shù)據(jù)庫(kù)Mongodb和Cassandra解決海量文章的存儲(chǔ)、檢索。4. 編程方式 云計(jì)算提供了分布式的計(jì)算模式，采用了一種思想簡(jiǎn)潔的分布式并行編程模型Map—Reduce。Map— Reduce是一種編程模型和任務(wù)調(diào)度模型。主要用于數(shù)據(jù)集的并行運(yùn)算和并行任務(wù)的調(diào)度處理,基于Hadoop集群，使用MapReduce解決離線(xiàn)數(shù)據(jù)的挖掘。另外針對(duì)流式實(shí)時(shí)運(yùn)算采用并行編程模型SpoutBolt,基于開(kāi)源的JStorm集群實(shí)現(xiàn)實(shí)時(shí)文本挖掘。5. 云計(jì)算平臺(tái)管理技術(shù) 云計(jì)算資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn)，同時(shí)運(yùn)行著數(shù)百種應(yīng)用，如何有效的管理這些服務(wù)器，保證整個(gè)系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。采用Nagios對(duì)眾多集群進(jìn)行監(jiān)控，使用SALT解決大規(guī)模服務(wù)器的自動(dòng)化管理。 翼騰數(shù)據(jù)中心借助于上述5個(gè)方面的云計(jì)算技術(shù)，解決了互聯(lián)網(wǎng)海量信息的實(shí)時(shí)檢索、海量分析、推薦挖掘等問(wèn)題，依托于全國(guó)眾多數(shù)據(jù)中心，為多個(gè)行業(yè)、多個(gè)地域的SaaS輿情監(jiān)測(cè)平臺(tái)提供數(shù)據(jù)支撐，為眾多企事業(yè)單位提供優(yōu)質(zhì)的中文信息監(jiān)測(cè)服務(wù)。 翼騰已建成的數(shù)據(jù)中心使用依托阿里云云平臺(tái)，每天采集互聯(lián)網(wǎng)500W以上的海量文章信息，每個(gè)數(shù)據(jù)中心的出口帶寬達(dá)到10G，每天新增10T以上數(shù)據(jù)文件，使用分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)存儲(chǔ)索引、文章等相關(guān)信息，使用軟件方式解決了數(shù)據(jù)可靠性問(wèn)題，翼騰搜索引擎實(shí)時(shí)的返回各個(gè)SaaS平臺(tái)的檢索需求，能夠支持上萬(wàn)并發(fā)請(qǐng)求。另外通過(guò)實(shí)時(shí)推送技術(shù)，每天推送到客戶(hù)端的信息量能夠達(dá)到上百萬(wàn)。 總體設(shè)計(jì)概述輿情衛(wèi)士監(jiān)測(cè)平臺(tái)是基于大數(shù)據(jù)平臺(tái)＋行業(yè)解決方案＋面向服務(wù)的整體解決方案，海量數(shù)據(jù)大都為非結(jié)構(gòu)化的文本數(shù)據(jù)，使用NoSql技術(shù)和Hadoop架構(gòu)進(jìn)行有效結(jié)合集成，實(shí)現(xiàn)在采集、存儲(chǔ)、分析、挖掘、檢索、展示等方面的具體要求，并針對(duì)某個(gè)行業(yè)做深入開(kāi)發(fā)，以服務(wù)的方式提供數(shù)據(jù)產(chǎn)品。大數(shù)據(jù)平臺(tái)是在大數(shù)據(jù)環(huán)境下，為滿(mǎn)足數(shù)據(jù)處理要求而傾力打造的一款具有革命性架構(gòu)設(shè)計(jì)的平臺(tái)級(jí)產(chǎn)品。大數(shù)據(jù)管理系統(tǒng)由服務(wù)器集群、大數(shù)據(jù)處理軟件、情報(bào)產(chǎn)品三部分組成，系統(tǒng)支持PB級(jí)海量數(shù)據(jù)管理，采用高可靠架構(gòu)設(shè)計(jì)，兼容Hadoop標(biāo)準(zhǔn)，自有海量全文檢索引擎系統(tǒng)，支持水平擴(kuò)展。大數(shù)處理軟件是一款完全分布式、多副本機(jī)制、數(shù)據(jù)分片的集群系統(tǒng)，不存在單點(diǎn)故障或性能瓶頸。“輿情衛(wèi)士監(jiān)測(cè)平臺(tái)”可以分為兩個(gè)部分來(lái)建設(shè)。一是互聯(lián)網(wǎng)信息數(shù)據(jù)中心平臺(tái)。平臺(tái)完成各類(lèi)海量信息的采集、存儲(chǔ)、檢索等功能，建設(shè)完成后可以供不同用戶(hù)進(jìn)行輿情信息巡查。二是基于數(shù)據(jù)中心平臺(tái)的輿情應(yīng)用平臺(tái)的建設(shè)，包括PC端及移動(dòng)終端的各種輿情管理與應(yīng)用?；ヂ?lián)網(wǎng)信息數(shù)據(jù)中心負(fù)責(zé)從互聯(lián)網(wǎng)各類(lèi)網(wǎng)站進(jìn)行信息采集，同時(shí)還支持其他各種信息的收集和存儲(chǔ)，比如微信公眾賬號(hào)所發(fā)布信息等信息。數(shù)據(jù)中心大量進(jìn)行數(shù)據(jù)采集、處理和存儲(chǔ)，為滿(mǎn)足不同用戶(hù)及業(yè)務(wù)應(yīng)用，采用分布式技術(shù)進(jìn)行規(guī)劃信息檢索服務(wù)，提高數(shù)據(jù)檢索效率。不同用戶(hù)應(yīng)用平臺(tái)的信息都來(lái)源于數(shù)據(jù)中心，基于這些數(shù)據(jù)建立自己的應(yīng)用平臺(tái)，本建設(shè)實(shí)現(xiàn)了中心數(shù)據(jù)向多用戶(hù)開(kāi)放，為將來(lái)不同用戶(hù)根據(jù)實(shí)際需求定制本用戶(hù)的信息平臺(tái)提供數(shù)據(jù)支撐和平臺(tái)基礎(chǔ)。輿情衛(wèi)士監(jiān)測(cè)平臺(tái)同樣是采用大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)進(jìn)行建設(shè)，一可以保證整體輿情工作效率，同時(shí)還為未來(lái)應(yīng)用留下了發(fā)展空間。輿情衛(wèi)士監(jiān)測(cè)平臺(tái)是一個(gè)整體平臺(tái)，在平臺(tái)使用的基礎(chǔ)上，基于大數(shù)據(jù)技術(shù)進(jìn)行了更深一步的數(shù)據(jù)分析和挖掘。輿情衛(wèi)士平臺(tái)可提供PB級(jí)的海量數(shù)據(jù)存儲(chǔ)能力，能夠利用云數(shù)據(jù)分析技術(shù)進(jìn)行深度比對(duì)、關(guān)聯(lián)、分析和挖掘，實(shí)現(xiàn)網(wǎng)上信息的快速發(fā)現(xiàn)、態(tài)勢(shì)研判和輿論引導(dǎo)，重點(diǎn)欄目信息15分鐘發(fā)現(xiàn)報(bào)警。 系統(tǒng)架構(gòu)圖特點(diǎn)及優(yōu)勢(shì)：★ 采用分層架構(gòu)設(shè)計(jì)，每個(gè)功能都有多份系統(tǒng)，不存在單點(diǎn)故障，且可進(jìn)行水平擴(kuò)展；★ 系統(tǒng)采用嵌入式、多引擎技術(shù)，并滿(mǎn)足用戶(hù)定制自己的數(shù)據(jù)處理邏輯的要求；★ 基于索引分區(qū)機(jī)制，實(shí)現(xiàn)內(nèi)存中高速的索引創(chuàng)建，海量索引數(shù)據(jù)放入磁盤(pán)，解決了快速索引的應(yīng)用需求，同時(shí)有效減
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1