【正文】 開源軟件為大數(shù)據(jù)市場帶來更多機會。與人們的傳統(tǒng)理解不同，大數(shù)據(jù)市場開源軟件的盛行不會抑制市場的商業(yè)機會，相反開源軟件將會給基礎(chǔ)架構(gòu)硬件、應用程序開發(fā)工具、應用、服務等各個方面的相關(guān)領(lǐng)域帶來更多的機會。. Hadoop將加速發(fā)展做為大數(shù)據(jù)領(lǐng)域的代表技術(shù)，許多企業(yè)都把明年的計劃聚焦在Hadoop之上。據(jù)預測，用戶對Hadoop的優(yōu)化將更注重硬件，同時，對企業(yè)友好的Hadoop技術(shù)市場將達到前所未有的高峰。從整體上說，不僅是Hadoop本身本會得到迅猛的發(fā)展，同時Hadoop在多個數(shù)據(jù)中心中的配置和無縫集成技術(shù)也將成為熱門。Hadoop的專業(yè)知識正在飛速增長，但是這方面優(yōu)秀的人才仍然很缺乏。基于SQL的Hadoop工具將會得到持續(xù)發(fā)展”。. 打包的大數(shù)據(jù)行業(yè)分析應用隨著大數(shù)據(jù)逐漸走向各個行業(yè)，基于行業(yè)的大數(shù)據(jù)分析應用需求也日益增長。未來幾年中針對特定行業(yè)和業(yè)務流程的分析應用將會以預打包的形式出現(xiàn)，這將為大數(shù)據(jù)技術(shù)供應商打開新的市場。這些分析應用內(nèi)容還會覆蓋很多行業(yè)的專業(yè)知識，也會吸引大量行業(yè)軟件開發(fā)公司的投入。. 大數(shù)據(jù)分析的革命性方法出現(xiàn)在大數(shù)據(jù)分析上，將出現(xiàn)革命性的新方法。就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)可能是新一波技術(shù)革命。從前的很多算法和基礎(chǔ)理論可能會產(chǎn)生理論級別的突破。. 大數(shù)據(jù)與云計算:深度融合大數(shù)據(jù)處理離不開云計算技術(shù)，云計算為大數(shù)據(jù)提供彈性可擴展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務的高效模式，大數(shù)據(jù)則為云計算提供了新的商業(yè)價值，大數(shù)據(jù)技術(shù)與云計算技術(shù)必有更完美的結(jié)合。同樣的，云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，既是產(chǎn)生大數(shù)據(jù)的地方，也是需要大數(shù)據(jù)分析方法的領(lǐng)域。. 大數(shù)據(jù)一體機陸續(xù)發(fā)布自云計算和大數(shù)據(jù)概念被提出后，針對該市場推出的軟硬件一體化設(shè)備就層出不窮。在未來幾年里，數(shù)據(jù)倉庫一體機、NoSQL一體機以及其它一些將多種技術(shù)結(jié)合的一體化設(shè)備將進一步快速發(fā)展。4. 基于基站大數(shù)據(jù)應用及案例. 氣象災害應急短信發(fā)布平臺. 概述. 項目背景為有效預防、及時響應和處置氣象災害，保證氣象災害應急工作高效、有序進行，最大限度地減輕或者避免氣象災害造成的人員傷亡、財產(chǎn)損失以及對經(jīng)濟社會發(fā)展和生態(tài)環(huán)境保護產(chǎn)生的不利影響，將災害信息及時通知相關(guān)人員，建設(shè)氣象災害應急短信發(fā)布平臺。. 平臺概述本平臺是利用手機進出特定小區(qū)需與交換機交換位置信息的特性，結(jié)合目前移動通信網(wǎng)絡及短消息發(fā)布平臺，實現(xiàn)在特定區(qū)域、特定時間對特定客戶群，發(fā)送特定服務短信的個性化信息服務。. 平臺建設(shè)特點與原則. 建設(shè)特點平臺具有以下特點：l 針對性強：特定區(qū)域、特定時間、特定客群、特定服務短信，投放準確，不會影響特定區(qū)域外的用戶；l 收看率高：手機自動接收，收看率高，見效快，比傳統(tǒng)媒體信息更深入用戶；l 發(fā)布便捷：客戶通過網(wǎng)絡可以直接申請發(fā)布信息，從申請到發(fā)布僅需幾小時，可以及時修改；l 成本低廉：定向發(fā)送有的放矢，平均成本更低廉。. 建設(shè)原則l 標準化：具有互操作性，可用性，可靠性，可擴充性，可管理性，建立一個開放式，遵循國際標準的網(wǎng)絡系統(tǒng)。l 先進性：既要保證網(wǎng)絡的先進性，同時也要兼顧技術(shù)的成熟性。l 安全性：對于安全性我們將通過對用戶的區(qū)域劃分，建議選用專用防火墻實現(xiàn)對本地資源的安全保護。l 擴展性：網(wǎng)絡設(shè)計必須為今后的擴充留有足夠的余地，以保護用戶的投資，保證今后的網(wǎng)絡擴充升級能力。l 保護投資：每個設(shè)備都進行嚴格的選型，在滿足設(shè)計原則的功能前提下，提供最經(jīng)濟的設(shè)備配置方案。l 可管理： 先進的網(wǎng)絡管理可為多業(yè)務網(wǎng)絡提供安全運行的基礎(chǔ)。. 大數(shù)據(jù)管理平臺特點l 獨特的云任務管理技術(shù)——使系統(tǒng)的并行效率提升顯著、硬件資源被充分用于大數(shù)據(jù)處理，縮短處理時間、節(jié)約硬件成本。l 獨特的多層分布式緩存技術(shù)——使系統(tǒng)的吞吐量更大，運算性能更高，數(shù)據(jù)更加安全可靠。l 雙引擎技術(shù)——云計算引擎與傳統(tǒng)計算引擎協(xié)同工作，使得業(yè)務支持類型更豐富、三方對接更方便、并實現(xiàn)了應用前端到后端的大數(shù)據(jù)處理以及秒級的響應速度。l 獨特的云目錄管理技術(shù)——使得數(shù)據(jù)存儲更完整，數(shù)據(jù)回收更靈活更即時，數(shù)據(jù)的近線存儲更方便。l 實用的監(jiān)控體系——全面監(jiān)控所有云節(jié)點、圖形化的指標監(jiān)控、完備的存活與性能告警、對于分析集群工作狀態(tài)、性能瓶頸識別、故障分析提供實際數(shù)據(jù)支持。l 方便快捷的安裝——提供圖形與命令行2種安裝模式，適合本地與遠程部署。部署操作基本自動化，適合于大規(guī)模集群的快速部署安裝。. 平臺整體架構(gòu). 建設(shè)原理本平臺是通過分析移動通訊過程中的各種信令過程，獲得用戶當前的位置信息。當用戶的位置信息與業(yè)務選擇發(fā)送的特定區(qū)域一致時，為用戶發(fā)布業(yè)務定制的短信。為獲得準確、全面的用戶信息（當前位置信息和用戶手機號），需要監(jiān)控業(yè)務特定區(qū)域所屬的MSC/VLR到周邊的所有信令鏈路（即下面的拓撲圖中雙向箭頭所對應的物理鏈路）。本項目使用的信令數(shù)據(jù)由信令監(jiān)測系統(tǒng)定時提供。移動通信網(wǎng)絡部分拓撲圖如下所示：BSCBTSBSCMSC/VLRHLR其它MSC/VLRLSTPBTS：基站 BSC：基站控制器MSC/VLR：移動業(yè)務交換中心/訪問位置寄存器HLR：用戶歸屬位置寄存器LSTP：低級信令轉(zhuǎn)接點移動通信網(wǎng)絡部分拓撲圖. 平臺總體設(shè)計1. 平臺總體結(jié)構(gòu)總體架構(gòu)圖系統(tǒng)主要由信令處理子系統(tǒng)、短信發(fā)送子系統(tǒng)、管理子系統(tǒng)、大數(shù)據(jù)管理平臺四部分組成。l 信令處理子系統(tǒng)本子系統(tǒng)經(jīng)過復雜的信令分析和匹配，最終得到用戶的手機號和當前位置信息，并將這些信息保存在內(nèi)存數(shù)據(jù)庫中，并同步到關(guān)系數(shù)據(jù)庫中。l 短信發(fā)送子系統(tǒng)本子系統(tǒng)經(jīng)過對用戶手機號和位置信息的分析，以及與業(yè)務條件是否匹配，得到是否要給用戶下發(fā)短信。如果要下發(fā)短信，短信業(yè)務應用系統(tǒng)將要下發(fā)的短信和用戶手機號寫入運營商的10086短信下發(fā)系統(tǒng)，由10086短信下發(fā)系統(tǒng)為用戶下發(fā)信息。l 大數(shù)據(jù)管理系統(tǒng)存儲與用戶、位置相關(guān)的數(shù)據(jù)，供短信業(yè)務應用系統(tǒng)判斷時使用。使系統(tǒng)的并行效率提升顯著、硬件資源被充分用于大數(shù)據(jù)處理，縮短處理時間、節(jié)約硬件成本。l 系統(tǒng)管理子系統(tǒng)本服務提供人性化的遠程登陸界面服務，為客戶提供了用戶管理、權(quán)限管理、日志管理、統(tǒng)計分析、數(shù)據(jù)配置等豐富功能。氣象災害應急短信發(fā)布平臺采用信令數(shù)據(jù)接入、數(shù)據(jù)處理整合、頁面展示三層架構(gòu)的方式實現(xiàn)。信令數(shù)據(jù)接入主要獲取信令數(shù)據(jù)，并對數(shù)據(jù)進行預處理。由信令監(jiān)測平臺對外提供信令數(shù)據(jù)，氣象災害應急短信發(fā)布平臺中的信令處理子系統(tǒng)通過網(wǎng)管DCN網(wǎng)絡與信令監(jiān)測系統(tǒng)對接，從而實現(xiàn)氣象災害應急短信發(fā)布平臺周期性地從信令監(jiān)測系統(tǒng)批量采集信令數(shù)據(jù)的功能，并對原始性數(shù)據(jù)進行預處理。數(shù)據(jù)處理采用專用數(shù)據(jù)統(tǒng)計算法和數(shù)據(jù)發(fā)掘分析技術(shù)，根據(jù)實時采集到的信令接口數(shù)據(jù)，及定期更新的基站、小區(qū)、場所及號碼段數(shù)據(jù)，綜合分析各個視角的數(shù)據(jù)。頁面展現(xiàn)層具備將各種統(tǒng)計分析結(jié)果進行圖表化、圖形化的展示，并可以多種格式導出。. 平臺技術(shù)思路平臺本著可靠穩(wěn)定的宗旨進行整個系統(tǒng)的技術(shù)構(gòu)建，主要遵循以下技術(shù)思路：l 擴展性原則：平臺具有高可擴展性，既能適應移動通信網(wǎng)絡結(jié)構(gòu)、通信協(xié)議的擴展變更，也能適應不斷變化的應用需求；l 模塊化設(shè)計：平臺采用模塊化設(shè)計，并構(gòu)建業(yè)務生成平臺；l 可移植性原則：平臺采用Java 開發(fā)體系，與系統(tǒng)平臺無關(guān)，確保應用系統(tǒng)的可移植性。l 先進性原則：平臺采用電信級設(shè)計標準，在設(shè)計思想、系統(tǒng)架構(gòu)、采用技術(shù)、選用平臺上均需要具有一定的先進性、前瞻性，考慮一定時期內(nèi)業(yè)務的增長。l 易用性原則：提供友好的用戶操作界面，具備直觀易用的人機界面，簡化復雜操作步驟。l 穩(wěn)定性原則：具備高可靠性和高穩(wěn)定性，能夠適應海量信令數(shù)據(jù)處理。在系統(tǒng)設(shè)計、開發(fā)和應用時，從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、軟硬件平臺、技術(shù)服務和維護響應能力等方面綜合考慮，確保系統(tǒng)較高的性能和較少的故障率。. 旅游客源分析. 整體方案. 方案思路移動運營商側(cè)擁有豐富的網(wǎng)絡信令數(shù)據(jù)，用戶在每一個業(yè)務應用和操作時，包括語音通話、收發(fā)短信等業(yè)務時，都會在網(wǎng)絡側(cè)記錄用戶相關(guān)的基站位置信息，除此之外還有用戶的主動位置更新（更新LAI）和定期的位置更新（一般為2小時以內(nèi)），也會記錄用戶的位置信息，通過這些信令數(shù)據(jù)上下文，我們可以通過基站描點勾勒出用戶的活動軌跡。在利用運營商在旅游景區(qū)的基站信息同景區(qū)進行有效的結(jié)合，可以實時分析各景區(qū)的移動本網(wǎng)當前用戶人數(shù)及本網(wǎng)當前旅游到達總數(shù)。l 通過對用戶進一步分析其來源的等相關(guān)情況；l 通過對用戶進一步分析駐留時長情況；l 通過分析各個旅游景區(qū)的人流密度等相關(guān)情況；有了這部分本網(wǎng)旅游用戶的數(shù)據(jù)就可以進一步分析有個旅游用戶相關(guān)如來源地等，以及景區(qū)相關(guān)的如景區(qū)熱度排名等相關(guān)數(shù)據(jù)，同時可以通過全省進一步歸納熱點旅游線路等，下面章節(jié)會詳細的介紹。統(tǒng)計出移動本網(wǎng)用戶數(shù)據(jù)后，可以根據(jù)移動用戶占比情況即比例系數(shù)反推旅游景區(qū)的用戶總數(shù)，占比情況如下圖，中移動占比在72%。. 系統(tǒng)架構(gòu)旅游客源分析應用平臺采用信令數(shù)據(jù)采集接入、數(shù)據(jù)分析整合、頁面展示三層架構(gòu)的方式實現(xiàn)。信令數(shù)據(jù)采集接入層主要獲取信令數(shù)據(jù)，并對數(shù)據(jù)進行預處理。本層與中興信令監(jiān)測平臺接口。數(shù)據(jù)處理層采用專用數(shù)據(jù)統(tǒng)計算法和數(shù)據(jù)發(fā)掘分析技術(shù)，根據(jù)實時采集到的信令接口數(shù)據(jù)，及定期更新的基站、小區(qū)、場所及號碼段數(shù)據(jù)，綜合分析各個視角的數(shù)據(jù)，包括統(tǒng)計區(qū)域?qū)崟r流量數(shù)據(jù)、流量總量數(shù)據(jù)、流量密度數(shù)據(jù)、流量駐留數(shù)據(jù)、景點流量告警等。頁面展現(xiàn)層具備將各種統(tǒng)計分析結(jié)果進行圖表化、圖形化、地圖化的展示，并可以多種格式導出。同時通過界面建立同接觸渠道的接口，包括短彩信、12580接口，可以通過接口推送給商家及用戶相關(guān)的實時信息。51 / 5