【正文】 頁(yè)面展現(xiàn)層具備將各種統(tǒng)計(jì)分析結(jié)果進(jìn)行圖表化、圖形化、地圖化的展示，并可以多種格式導(dǎo)出。. 系統(tǒng)架構(gòu)旅游客源分析應(yīng)用平臺(tái)采用信令數(shù)據(jù)采集接入、數(shù)據(jù)分析整合、頁(yè)面展示三層架構(gòu)的方式實(shí)現(xiàn)。. 旅游客源分析. 整體方案. 方案思路移動(dòng)運(yùn)營(yíng)商側(cè)擁有豐富的網(wǎng)絡(luò)信令數(shù)據(jù)，用戶在每一個(gè)業(yè)務(wù)應(yīng)用和操作時(shí)，包括語(yǔ)音通話、收發(fā)短信等業(yè)務(wù)時(shí)，都會(huì)在網(wǎng)絡(luò)側(cè)記錄用戶相關(guān)的基站位置信息，除此之外還有用戶的主動(dòng)位置更新（更新LAI）和定期的位置更新（一般為2小時(shí)以內(nèi)），也會(huì)記錄用戶的位置信息，通過(guò)這些信令數(shù)據(jù)上下文，我們可以通過(guò)基站描點(diǎn)勾勒出用戶的活動(dòng)軌跡。l 先進(jìn)性原則：平臺(tái)采用電信級(jí)設(shè)計(jì)標(biāo)準(zhǔn)，在設(shè)計(jì)思想、系統(tǒng)架構(gòu)、采用技術(shù)、選用平臺(tái)上均需要具有一定的先進(jìn)性、前瞻性，考慮一定時(shí)期內(nèi)業(yè)務(wù)的增長(zhǎng)。由信令監(jiān)測(cè)平臺(tái)對(duì)外提供信令數(shù)據(jù)，氣象災(zāi)害應(yīng)急短信發(fā)布平臺(tái)中的信令處理子系統(tǒng)通過(guò)網(wǎng)管DCN網(wǎng)絡(luò)與信令監(jiān)測(cè)系統(tǒng)對(duì)接，從而實(shí)現(xiàn)氣象災(zāi)害應(yīng)急短信發(fā)布平臺(tái)周期性地從信令監(jiān)測(cè)系統(tǒng)批量采集信令數(shù)據(jù)的功能，并對(duì)原始性數(shù)據(jù)進(jìn)行預(yù)處理。使系統(tǒng)的并行效率提升顯著、硬件資源被充分用于大數(shù)據(jù)處理，縮短處理時(shí)間、節(jié)約硬件成本。l 信令處理子系統(tǒng)本子系統(tǒng)經(jīng)過(guò)復(fù)雜的信令分析和匹配，最終得到用戶的手機(jī)號(hào)和當(dāng)前位置信息，并將這些信息保存在內(nèi)存數(shù)據(jù)庫(kù)中，并同步到關(guān)系數(shù)據(jù)庫(kù)中。當(dāng)用戶的位置信息與業(yè)務(wù)選擇發(fā)送的特定區(qū)域一致時(shí)，為用戶發(fā)布業(yè)務(wù)定制的短信。l 實(shí)用的監(jiān)控體系——全面監(jiān)控所有云節(jié)點(diǎn)、圖形化的指標(biāo)監(jiān)控、完備的存活與性能告警、對(duì)于分析集群工作狀態(tài)、性能瓶頸識(shí)別、故障分析提供實(shí)際數(shù)據(jù)支持。. 大數(shù)據(jù)管理平臺(tái)特點(diǎn)l 獨(dú)特的云任務(wù)管理技術(shù)——使系統(tǒng)的并行效率提升顯著、硬件資源被充分用于大數(shù)據(jù)處理，縮短處理時(shí)間、節(jié)約硬件成本。l 安全性：對(duì)于安全性我們將通過(guò)對(duì)用戶的區(qū)域劃分，建議選用專用防火墻實(shí)現(xiàn)對(duì)本地資源的安全保護(hù)。. 平臺(tái)概述本平臺(tái)是利用手機(jī)進(jìn)出特定小區(qū)需與交換機(jī)交換位置信息的特性，結(jié)合目前移動(dòng)通信網(wǎng)絡(luò)及短消息發(fā)布平臺(tái)，實(shí)現(xiàn)在特定區(qū)域、特定時(shí)間對(duì)特定客戶群，發(fā)送特定服務(wù)短信的個(gè)性化信息服務(wù)。自云計(jì)算和大數(shù)據(jù)概念被提出后，針對(duì)該市場(chǎng)推出的軟硬件一體化設(shè)備就層出不窮。. 大數(shù)據(jù)與云計(jì)算:深度融合. 大數(shù)據(jù)分析的革命性方法出現(xiàn). 打包的大數(shù)據(jù)行業(yè)分析應(yīng)用從整體上說(shuō)，不僅是Hadoop本身本會(huì)得到迅猛的發(fā)展，同時(shí)Hadoop在多個(gè)數(shù)據(jù)中心中的配置和無(wú)縫集成技術(shù)也將成為熱門。將多種信息整合管理，創(chuàng)造對(duì)大數(shù)據(jù)統(tǒng)一的訪問(wèn)和分析的組件產(chǎn)品。例如，以數(shù)據(jù)分析和處理為主的高級(jí)數(shù)據(jù)服務(wù)，將出現(xiàn)以數(shù)據(jù)分析作為服務(wù)產(chǎn)品提交的分析即服務(wù)(Analyze對(duì)于第二個(gè)特點(diǎn)，大規(guī)模的使用Hadoop是個(gè)必然趨勢(shì)，漸漸的就會(huì)形成行業(yè)的標(biāo)準(zhǔn)，進(jìn)而成為更有價(jià)值的軟件基礎(chǔ)，而不僅是自己內(nèi)部使用。. 大數(shù)據(jù)處理技術(shù)發(fā)展前景隨著大數(shù)據(jù)時(shí)代的來(lái)臨，應(yīng)用越來(lái)越廣，其發(fā)展前景是很光明的。. 大數(shù)據(jù)”與科技文獻(xiàn)信息處理“大數(shù)據(jù)”目前主要指醫(yī)學(xué)、天文、地理、Web日志、多媒體信息等數(shù)據(jù)，鮮有提及文獻(xiàn)信息。Google曾表示BigQuery引擎可以快速掃描高達(dá)70TB未經(jīng)壓縮處理的數(shù)據(jù)，并且可馬上得到分析結(jié)果。很多數(shù)據(jù)超過(guò)9 0 % 是非結(jié)構(gòu)化數(shù)據(jù)，E M C 有另外一個(gè)產(chǎn)品是GreenplumHD，GreenplumHD可以把非結(jié)構(gòu)化的數(shù)據(jù)或者是半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，然后讓GreenplumDatabase去處理。Isilon能夠提供無(wú)限的橫向擴(kuò)展能力，Atmos是一款云存儲(chǔ)基礎(chǔ)架構(gòu)，在內(nèi)容服務(wù)方面，Atmos是很好的解決方案。. Sybase IQSybase IQ是Sybase公司推出的特別為數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的關(guān)系型數(shù)據(jù)庫(kù)，添加了Hadoop的集成，并提供了MapReduce的API。分析師和統(tǒng)計(jì)人員可以運(yùn)行現(xiàn)有的R應(yīng)用，并利用R客戶端直接處理存儲(chǔ)在Oracle數(shù)據(jù)庫(kù)11g中的數(shù)據(jù)，從而極大地提高可擴(kuò)展性、性能和安全性。通過(guò)IBM的解決方案可以看出，解決大數(shù)據(jù)問(wèn)題不能僅僅依靠Hadoop。St reams的特點(diǎn)就是“小快靈”，數(shù)據(jù)是實(shí)時(shí)流動(dòng)的，其分析反應(yīng)速度可以控制在毫秒級(jí)別，而BigInsights的分析是批處理，反應(yīng)速度無(wú)法同St reams相比。BigInsights中還有兩個(gè)分析產(chǎn)品——Cognos和SPSS，這兩個(gè)分析產(chǎn)品在傳統(tǒng)功能上加強(qiáng)了文本分析的功能，提供了一系列文本分析工具，并使用高級(jí)語(yǔ)言進(jìn)行自定義規(guī)則，如文本格式轉(zhuǎn)換等。它們將包括HadoopMapReduce在內(nèi)的開源技術(shù)緊密地與IBM系統(tǒng)集成起來(lái)。這一部分主要介紹以Hadoop為基礎(chǔ)的典型商業(yè)性大數(shù)據(jù)解決方案。此外，很多初創(chuàng)企業(yè)也開始加入到大數(shù)據(jù)的淘金隊(duì)伍中。實(shí)際上，有用戶抱怨其集群的NameNode重啟需要數(shù)小時(shí)，這大大降低了系統(tǒng)的可用性。在當(dāng)前Hadoop的設(shè)計(jì)中，所有的metadata操作都要通過(guò)集中式的NameNode來(lái)進(jìn)行，NameNode有可能是性能的瓶頸。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。如圖顯示一個(gè)示例集群中的工作分布，如圖九:圖九. Hadoop的優(yōu)點(diǎn)：Hadoop能夠使用戶輕松開發(fā)和運(yùn)行處理大數(shù)據(jù)的應(yīng)用程序。在應(yīng)用程序提交之后，將提供包含在HDFS中的輸入和輸出目錄。MapReduce技術(shù)是一種簡(jiǎn)潔的并行計(jì)算模型，它在系統(tǒng)層面解決了擴(kuò)展性、容錯(cuò)性等問(wèn)題，通過(guò)接受用戶編寫的Map函數(shù)和Reduce函數(shù)，自動(dòng)地在可伸縮的大規(guī)模集群上并行執(zhí)行，從而可以處理和分析大規(guī)模的數(shù)據(jù)[6]。NameNode在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)，負(fù)責(zé)管理文件系統(tǒng)名稱空間和控制外部客戶機(jī)的訪問(wèn)。這與傳統(tǒng)的RAID架構(gòu)大不相同。該框架在很大程度上受Google在2004年白皮書中闡述的MapReduce的技術(shù)啟發(fā)。. Hadoop的組成大數(shù)據(jù)不同于傳統(tǒng)類型的數(shù)據(jù)，它可能由TB甚至PB級(jí)信息組成，既包括結(jié)構(gòu)化數(shù)據(jù)，也包括文本、多媒體等非結(jié)構(gòu)化數(shù)據(jù)。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。另一篇于2003年發(fā)表，主要是關(guān)于如何在多服務(wù)器上存儲(chǔ)數(shù)據(jù)。它們將這些實(shí)時(shí)結(jié)果賣給需要的客戶。運(yùn)用分布式計(jì)算技術(shù)，銀行可以從消費(fèi)者的一些消費(fèi)行為和模式中識(shí)別網(wǎng)上交易的欺詐行為。分布式技術(shù)結(jié)合了一系列技術(shù)，可以對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析。商業(yè)化的模式如Couchbase、10gen的mongoDB以及Oracle的NoSQL。但是NoSQL數(shù)據(jù)庫(kù)則完全不關(guān)心這些，它能處理各種類型的文檔。典型的NoSQL數(shù)據(jù)存儲(chǔ)模型有文檔存儲(chǔ)、鍵值存儲(chǔ)、圖存儲(chǔ)、對(duì)象數(shù)據(jù)庫(kù)、列存儲(chǔ)等　NoSQL數(shù)據(jù)庫(kù)是一種建立在云平臺(tái)的新型數(shù)據(jù)處理模式，NoSQL在很多情況下又叫做云數(shù)據(jù)庫(kù)。隨之而來(lái)，NoSQL數(shù)據(jù)存儲(chǔ)模型開始風(fēng)行。而MapReduce+GFS框架，不受上述問(wèn)題的困擾。而隨著硬件的更新，我們通常加入的新硬件都會(huì)強(qiáng)于已有的硬件。通常的方法是預(yù)估今后一段時(shí)期內(nèi)的業(yè)務(wù)量和數(shù)據(jù)量，加入多余的計(jì)算單元（CPU）和存儲(chǔ)，以備不時(shí)只需。這些大數(shù)據(jù)中蘊(yùn)藏著大量可以用于增強(qiáng)用戶體驗(yàn)、提高服務(wù)質(zhì)量和開發(fā)新型應(yīng)用的知識(shí)，而如何高效和準(zhǔn)確的發(fā)現(xiàn)這些知識(shí)就基本決定了各大互聯(lián)網(wǎng)公司在激烈競(jìng)爭(zhēng)環(huán)境中的位置。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價(jià)值。3. 大數(shù)據(jù)解決方案1.2.3.. 大數(shù)據(jù)技術(shù)組成大數(shù)據(jù)技術(shù)由四種技術(shù)構(gòu)成，它們包括：. 分析技術(shù)分析技術(shù)意味著對(duì)海量數(shù)據(jù)進(jìn)行分析以實(shí)時(shí)得出答案，由于大數(shù)據(jù)的特殊性，大數(shù)據(jù)分析技術(shù)還處于發(fā)展階段，老技術(shù)會(huì)日趨完善，新技術(shù)會(huì)更多出現(xiàn)。希望通過(guò)接受免費(fèi)化妝服務(wù)，讓用戶進(jìn)行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結(jié)合，為業(yè)務(wù)挑戰(zhàn)提供了解決方案。系統(tǒng)在第一時(shí)間自動(dòng)捕捉市場(chǎng)變化，再以最快捷的方式推送給指定負(fù)責(zé)人，使他在最短時(shí)間內(nèi)獲知市場(chǎng)行情。XO現(xiàn)在可以預(yù)測(cè)客戶的行為，發(fā)現(xiàn)行為趨勢(shì)，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時(shí)采取措施，保留客戶。通過(guò)這個(gè)預(yù)測(cè)后，可以降低采購(gòu)成本。在德國(guó)，為了鼓勵(lì)利用太陽(yáng)能，會(huì)在家庭安裝太陽(yáng)能，除了賣電給你，當(dāng)你的太陽(yáng)能有多余電的時(shí)候還可以買回來(lái)。通過(guò)這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問(wèn)題并且有針對(duì)性地采取措施，避免早產(chǎn)嬰兒夭折。核心就是這三件事。 他也是關(guān)系的一種變種，只是關(guān)系稍微遠(yuǎn)一點(diǎn)，情感之間的分析，還有我們政府部門做的輿情監(jiān)控。還有用戶與信息之間的理解，就是你對(duì)哪一類型的微博感興趣，你對(duì)哪一類型的信息感興趣，如果 牽扯到商業(yè)化，你對(duì)哪一類的廣告或者商品感興趣。但是用機(jī)器怎么能看出來(lái)這是一件事，以及他們之間的因果關(guān) 系，這是很有難度的。關(guān)系才是我們的核心，信息與信息之間的關(guān)系，一條微博和另外一條微博之間的關(guān)系，一個(gè)廣告和另外一個(gè)廣告的關(guān)系。調(diào)查顯示：目前，IT專業(yè)人員對(duì)云計(jì)算中諸多關(guān)鍵技術(shù)最為關(guān)心的是大規(guī)模數(shù)據(jù)并行處理技術(shù)大數(shù)據(jù)并行處理沒(méi)有通用和現(xiàn)成的解決方案對(duì)于應(yīng)用行業(yè)來(lái)說(shuō)，云計(jì)算平臺(tái)軟件、虛擬化軟件都不需要自己開發(fā)，但行業(yè)的大規(guī)模數(shù)據(jù)處理應(yīng)用沒(méi)有現(xiàn)成和通用的軟件，需要針對(duì)特定的應(yīng)用需求專門開發(fā)，涉及到諸多并行化算法、索引查詢優(yōu)化技術(shù)研究、以及系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，這些都為大數(shù)據(jù)處理技術(shù)的發(fā)展提供了巨大的驅(qū)動(dòng)力，2. 大數(shù)據(jù)應(yīng)用. 大數(shù)據(jù)應(yīng)用闡述大數(shù)據(jù)能做什么？我們那么多地方探討大數(shù)據(jù)，無(wú)非總結(jié)下來(lái)就做三件事