【正文】 精選資料大數(shù)據(jù)應(yīng)用解決方案目 錄1. 大數(shù)據(jù)概述 6. 概述 6. 大數(shù)據(jù)定義 6. 大數(shù)據(jù)技術(shù)發(fā)展 82. 大數(shù)據(jù)應(yīng)用 11. 大數(shù)據(jù)應(yīng)用闡述 11. 大數(shù)據(jù)應(yīng)用架構(gòu) 13. 大數(shù)據(jù)行業(yè)應(yīng)用 13. 醫(yī)療行業(yè) 13. 能源行業(yè) 14. 通信行業(yè) 14. 零售業(yè) 153. 大數(shù)據(jù)解決方案 16. 大數(shù)據(jù)技術(shù)組成 16. 分析技術(shù) 16. 可視化分析 16. 數(shù)據(jù)挖掘算法 16. 預(yù)測分析能力 16. 語義引擎 16. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理 17. 存儲數(shù)據(jù)庫 17. 分布式計算技術(shù) 18. 大數(shù)據(jù)處理過程 20. 采集 20. 導(dǎo)入/預(yù)處理 21. 統(tǒng)計/分析 21. 挖掘 21. 大數(shù)據(jù)處理的核心技術(shù)Hadoop 21. Hadoop的組成 22. Hadoop的優(yōu)點： 25. 高可靠性。 25. 高擴展性。 25. 高效性。 25. 高容錯性。 25. Hadoop的不足 25. 主要商業(yè)性“大數(shù)據(jù)”處理方案 26. IBM InfoSphere大數(shù)據(jù)分析平臺 26. Or a c l e Bi g Da t aApplianc 27. Mi c r o s o f t S QLServer 27. Sybase IQ 28. 其他“大數(shù)據(jù)”解決方案 28. EMC 28. BigQuery 29. 大數(shù)據(jù)”與科技文獻信息處理 29. 大數(shù)據(jù)處理技術(shù)發(fā)展前景 29. 大數(shù)據(jù)復(fù)雜度降低 29. 大數(shù)據(jù)細分市場 30. 大數(shù)據(jù)開源 30. Hadoop將加速發(fā)展 30. 打包的大數(shù)據(jù)行業(yè)分析應(yīng)用 30. 大數(shù)據(jù)分析的革命性方法出現(xiàn) 31. 大數(shù)據(jù)與云計算:深度融合 31. 大數(shù)據(jù)一體機陸續(xù)發(fā)布 314. 基于基站大數(shù)據(jù)應(yīng)用及案例 32. 氣象災(zāi)害應(yīng)急短信發(fā)布平臺 32. 概述 32. 項目背景 32. 平臺概述 32. 平臺建設(shè)特點與原則 32. 建設(shè)特點 32. 建設(shè)原則 32. 大數(shù)據(jù)管理平臺特點 33. 平臺整體架構(gòu) 33. 建設(shè)原理 33. 平臺總體設(shè)計 351. 平臺總體結(jié)構(gòu) 352. 平臺技術(shù)架構(gòu) 36. 平臺技術(shù)思路 37. 平臺技術(shù)路線 381. 內(nèi)存數(shù)據(jù)庫 382. 短信發(fā)送多鏈路配置 383. 隊列緩存 384. 參數(shù)可配置 38. 平臺性能要求 38. 平臺網(wǎng)絡(luò)拓撲 38. 平臺關(guān)鍵流程 39. 平臺數(shù)據(jù)流程 39. 平臺業(yè)務(wù)主流程 40. 短信下發(fā)審批流程 41. 信令分析處理流程 42. 短信發(fā)送流程 43. 平臺功能模塊 43. 信令分析子系統(tǒng) 43. 短信發(fā)送子系統(tǒng) 441. 短信發(fā)送功能 442. 短信回執(zhí)接收功能 443. 短信批量發(fā)送管理功能 454. 統(tǒng)計報表 45. 管理子系統(tǒng) 451. 用戶管理 452. 權(quán)限管理 463. 實時監(jiān)控 464. 日志管理 465. 基站位置信息管理 466. 系統(tǒng)參數(shù)配置管理 46. 內(nèi)容數(shù)據(jù)庫子系統(tǒng) 46. 平臺外部接口 47. 信令采集接口 471. 接口說明 472. 數(shù)據(jù)采集模式 47. 短信發(fā)送接口 471. 短信發(fā)送通知接口 472. 短信發(fā)送狀態(tài)查詢接口 473. 短信發(fā)送接口 47. 基站位置信息接口 481. 數(shù)據(jù)同步模式 482. 基站位置信息全量同步接口 483. 基站位置信息增量同步接口 48. 旅游客源分析 48. 建設(shè)目標 48. 整體方案 49. 方案思路 49. 分析范圍 49. 方案特點 50. 方案設(shè)計 51. 系統(tǒng)關(guān)系 51. 系統(tǒng)架構(gòu) 511. 數(shù)據(jù)分析后臺能力 522. Web前臺能力 52. 數(shù)據(jù)采集 53. 業(yè)務(wù)分析 531. 總體分析流程 532. 景區(qū)綜合流量統(tǒng)計分析 543. 景區(qū)游客來源地構(gòu)成分析 554. 景區(qū)全網(wǎng)總游客實時估算 575. 景區(qū)流量預(yù)判模型分析 586. 景區(qū)流量上限告警 597. 旅游景點熱度排名分析 598. 旅游線路歸類統(tǒng)計 609. 景區(qū)與相關(guān)場所關(guān)聯(lián)分析 61. 界面功能介紹 611. 菜單功能列表 622. 界面輔助功能介紹 633. 運營部門應(yīng)用Portal 644. 用戶權(quán)限 641. 大數(shù)據(jù)概述. 概述大數(shù)據(jù)，IT行業(yè)的又一次技術(shù)變革，大數(shù)據(jù)的浪潮洶涌而至，對國家治理、企業(yè)決策和個人生活都在產(chǎn)生深遠的影響，并將成為云計算、物聯(lián)網(wǎng)之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域又一重大創(chuàng)新變革。未來的十年將是一個“大數(shù)據(jù)”引領(lǐng)的智慧科技的時代、隨著社交網(wǎng)絡(luò)的逐漸成熟，移動帶寬迅速提升、云計算、物聯(lián)網(wǎng)應(yīng)用更加豐富、更多的傳感設(shè)備、移動終端接入到網(wǎng)絡(luò)，由此而產(chǎn)生的數(shù)據(jù)及增長速度將比歷史上的任何時期都要多、都要快。數(shù)據(jù)技術(shù)發(fā)展歷史如圖一所示：圖一. 大數(shù)據(jù)定義“大數(shù)據(jù)”是一個涵蓋多種技術(shù)的概念，簡單地說，是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念定義為4個V，即大量化(Volume)、多樣化(Variety)、快速化(Velocity)及由此產(chǎn)生的價值(Value)。如圖二。圖二要理解大數(shù)據(jù)這一概念，首先要從大入手，大是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來總結(jié)(Volume、Variety、Value和Velocity)，即體量大、多樣性、價值密度低、速度快。216。 數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。216。 數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。216。 價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。216。 處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的大數(shù)據(jù)不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過解決巨量數(shù)據(jù)處理問題促進其突破性發(fā)展。因此，大數(shù)據(jù)時代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價值的信息，也體現(xiàn)在如何加強大數(shù)據(jù)技術(shù)研發(fā)，搶占時代發(fā)展的前沿。. 大數(shù)據(jù)技術(shù)發(fā)展大數(shù)據(jù)技術(shù)描述了一種新一代技術(shù)和構(gòu)架，用于以很經(jīng)濟的方式、以高速的捕獲、發(fā)現(xiàn)和分析技術(shù)，從各種超大規(guī)模的數(shù)據(jù)中提取價值，而且未來急劇增長的數(shù)據(jù)迫切需要尋求新的處理技術(shù)手段。如圖三所示：圖三在“大數(shù)據(jù)”(Big data)時代，通過互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)，人們能夠及時全面地獲得大信息。同時，信息自身存在形式的變化與演進，也使得作為信息載體的數(shù)據(jù)以遠超人們想象的速度迅速膨脹。云時代的到來使得數(shù)據(jù)創(chuàng)造的主體由企業(yè)逐漸轉(zhuǎn)向個體，而個體所產(chǎn)生的絕大部分數(shù)據(jù)為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)。信息化技術(shù)的普及使得企業(yè)更多的辦公流程通過網(wǎng)絡(luò)得以實現(xiàn)，由此產(chǎn)生的數(shù)據(jù)也以非結(jié)構(gòu)化數(shù)據(jù)為主。預(yù)計到2012年，非結(jié)構(gòu)化數(shù)據(jù)將達到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。用于提取智慧的“大數(shù)據(jù)”，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)倉庫系統(tǒng)、BI、鏈路挖掘等應(yīng)用對數(shù)據(jù)處理的時間要求往往以小時或天為單位。但“大數(shù)據(jù)”應(yīng)用突出強調(diào)數(shù)據(jù)處理的實時性。在線個性化推薦、股票交易處理、實時路況信息等數(shù)據(jù)處理時間要求在分鐘甚至秒級。全球技術(shù)研究和咨詢公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對眾多公司和組織機構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢之一，而其他領(lǐng)域的研究，如云計算、下一代分析、內(nèi)存計算等也都與“大數(shù)據(jù)”的研究相輔相成。Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)，這意味著“大數(shù)據(jù)”技術(shù)將在未來3—5年內(nèi)進入主流。而 “大數(shù)據(jù)”的多樣性決定了數(shù)據(jù)采集來源的復(fù)雜性，從智能傳感器到社交網(wǎng)絡(luò)數(shù)據(jù)，從聲音圖片到在線交易數(shù)據(jù)，可能性是無窮無盡的。選擇正確的數(shù)據(jù)來源并進行交叉分析可以為企業(yè)創(chuàng)造最顯著的利益。隨著數(shù)據(jù)源的爆發(fā)式增長，數(shù)據(jù)的多樣性成為“大數(shù)據(jù)”應(yīng)用亟待解決的問題。例如如何實時地及通過各種數(shù)據(jù)庫管理系統(tǒng)來安全地訪問數(shù)據(jù)，如何通過優(yōu)化存儲策略，評估當前的數(shù)據(jù)存儲技術(shù)并改進、加強數(shù)據(jù)存儲能力，最大限度地利用現(xiàn)有的存儲投資。從某種意義上說，數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)?！按髷?shù)據(jù)”不僅是一場技術(shù)變革，更是一場商業(yè)模式變革。在“大數(shù)據(jù)”概念提出之前，盡管互聯(lián)網(wǎng)為傳統(tǒng)企業(yè)提供了一個新的銷售渠道，但總體來看，二者平行發(fā)展，鮮有交集。我們可以看到，無論是Google通過分析用戶個人信息，根據(jù)用戶偏好提供精準廣告，還是Facebook將用戶的線下社會關(guān)系遷移在線上，構(gòu)造一個半真實的實名帝國，但這些商業(yè)和消費模式仍不能脫離互聯(lián)網(wǎng)，傳統(tǒng)企業(yè)仍無法嫁接到互聯(lián)網(wǎng)中。同時，傳統(tǒng)企業(yè)通過傳統(tǒng)的用戶分析工具卻很難獲得大范圍用戶的真實需求。企業(yè)從大規(guī)模制造過渡到大規(guī)模定制，必須掌握用戶的需求特點。在互聯(lián)網(wǎng)時代，這些需求特征往往是在用戶不經(jīng)意的行為中透露出來的。通過對信息進行關(guān)聯(lián)、參照、聚類、分類等方法分析，才能得到答案。“大數(shù)據(jù)”在互聯(lián)網(wǎng)與傳統(tǒng)企業(yè)間建立一個交集。它推動互聯(lián)網(wǎng)企業(yè)融合進傳統(tǒng)企業(yè)的供應(yīng)鏈，并在傳統(tǒng)企業(yè)種下互聯(lián)網(wǎng)基因。傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)企業(yè)的結(jié)合，網(wǎng)民和消費者的融合，必將引發(fā)消費模式、制造模式、管理模式的巨大變革。大數(shù)據(jù)正成為I