【正文】 精選資料運營商大數(shù)據(jù)應(yīng)用解決方案目 錄1. 大數(shù)據(jù)概述 4. 概述 4. 大數(shù)據(jù)定義 4. 大數(shù)據(jù)技術(shù)發(fā)展 62. 大數(shù)據(jù)應(yīng)用 9. 大數(shù)據(jù)應(yīng)用闡述 9. 大數(shù)據(jù)應(yīng)用架構(gòu) 11. 大數(shù)據(jù)行業(yè)應(yīng)用 11. 醫(yī)療行業(yè) 11. 能源行業(yè) 12. 通信行業(yè) 12. 零售業(yè) 133. 大數(shù)據(jù)解決方案 14. 大數(shù)據(jù)技術(shù)組成 14. 分析技術(shù) 14. 可視化分析 14. 數(shù)據(jù)挖掘算法 14. 預(yù)測分析能力 14. 語義引擎 14. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理 15. 存儲數(shù)據(jù)庫 15. 分布式計算技術(shù) 16. 大數(shù)據(jù)處理過程 18. 采集 18. 導(dǎo)入/預(yù)處理 19. 統(tǒng)計/分析 19. 挖掘 19. 大數(shù)據(jù)處理的核心技術(shù)Hadoop 19. Hadoop的組成 20. Hadoop的優(yōu)點： 23. 高可靠性。 23. 高擴(kuò)展性。 23. 高效性。 23. 高容錯性。 23. Hadoop的不足 23. 主要商業(yè)性“大數(shù)據(jù)”處理方案 24. IBM InfoSphere大數(shù)據(jù)分析平臺 24. Or a c l e Bi g Da t aApplianc 25. Mi c r o s o f t S QLServer 25. Sybase IQ 26. 其他“大數(shù)據(jù)”解決方案 26. EMC 26. BigQuery 27. 大數(shù)據(jù)”與科技文獻(xiàn)信息處理 27. 大數(shù)據(jù)處理技術(shù)發(fā)展前景 27. 大數(shù)據(jù)復(fù)雜度降低 27. 大數(shù)據(jù)細(xì)分市場 28. 大數(shù)據(jù)開源 28. Hadoop將加速發(fā)展 28. 打包的大數(shù)據(jù)行業(yè)分析應(yīng)用 28. 大數(shù)據(jù)分析的革命性方法出現(xiàn) 29. 大數(shù)據(jù)與云計算:深度融合 29. 大數(shù)據(jù)一體機陸續(xù)發(fā)布 294. 基于基站大數(shù)據(jù)應(yīng)用及案例 30. 氣象災(zāi)害應(yīng)急短信發(fā)布平臺 30. 概述 30. 項目背景 30. 平臺概述 30. 平臺建設(shè)特點與原則 30. 建設(shè)特點 30. 建設(shè)原則 30. 大數(shù)據(jù)管理平臺特點 31. 平臺整體架構(gòu) 31. 建設(shè)原理 31. 平臺總體設(shè)計 331. 平臺總體結(jié)構(gòu) 33. 平臺技術(shù)思路 34. 旅游客源分析 34. 整體方案 34. 方案思路 34. 系統(tǒng)架構(gòu) 351. 大數(shù)據(jù)概述. 概述大數(shù)據(jù)，IT行業(yè)的又一次技術(shù)變革，大數(shù)據(jù)的浪潮洶涌而至，對國家治理、企業(yè)決策和個人生活都在產(chǎn)生深遠(yuǎn)的影響，并將成為云計算、物聯(lián)網(wǎng)之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域又一重大創(chuàng)新變革。未來的十年將是一個“大數(shù)據(jù)”引領(lǐng)的智慧科技的時代、隨著社交網(wǎng)絡(luò)的逐漸成熟，移動帶寬迅速提升、云計算、物聯(lián)網(wǎng)應(yīng)用更加豐富、更多的傳感設(shè)備、移動終端接入到網(wǎng)絡(luò)，由此而產(chǎn)生的數(shù)據(jù)及增長速度將比歷史上的任何時期都要多、都要快。數(shù)據(jù)技術(shù)發(fā)展歷史如圖一所示：圖一. 大數(shù)據(jù)定義“大數(shù)據(jù)”是一個涵蓋多種技術(shù)的概念，簡單地說，是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念定義為4個V，即大量化(Volume)、多樣化(Variety)、快速化(Velocity)及由此產(chǎn)生的價值(Value)。如圖二。圖二要理解大數(shù)據(jù)這一概念，首先要從大入手，大是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來總結(jié)(Volume、Variety、Value和Velocity)，即體量大、多樣性、價值密度低、速度快。216。 數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。216。 數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。216。 價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。216。 處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的大數(shù)據(jù)不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過解決巨量數(shù)據(jù)處理問題促進(jìn)其突破性發(fā)展。因此，大數(shù)據(jù)時代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價值的信息，也體現(xiàn)在如何加強大數(shù)據(jù)技術(shù)研發(fā)，搶占時代發(fā)展的前沿。. 大數(shù)據(jù)技術(shù)發(fā)展大數(shù)據(jù)技術(shù)描述了一種新一代技術(shù)和構(gòu)架，用于以很經(jīng)濟(jì)的方式、以高速的捕獲、發(fā)現(xiàn)和分析技術(shù)，從各種超大規(guī)模的數(shù)據(jù)中提取價值，而且未來急劇增長的數(shù)據(jù)迫切需要尋求新的處理技術(shù)手段。如圖三所示：圖三在“大數(shù)據(jù)”(Big data)時代，通過互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)，人們能夠及時全面地獲得大信息。同時，信息自身存在形式的變化與演進(jìn)，也使得作為信息載體的數(shù)據(jù)以遠(yuǎn)超人們想象的速度迅速膨脹。云時代的到來使得數(shù)據(jù)創(chuàng)造的主體由企業(yè)逐漸轉(zhuǎn)向個體，而個體所產(chǎn)生的絕大部分?jǐn)?shù)據(jù)為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)。信息化技術(shù)的普及使得企業(yè)更多的辦公流程通過網(wǎng)絡(luò)得以實現(xiàn)，由此產(chǎn)生的數(shù)據(jù)也以非結(jié)構(gòu)化數(shù)據(jù)為主。預(yù)計到2012年，非結(jié)構(gòu)化數(shù)據(jù)將達(dá)到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。用于提取智慧的“大數(shù)據(jù)”，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)倉庫系統(tǒng)、BI、鏈路挖掘等應(yīng)用對數(shù)據(jù)處理的時間要求往往以小時或天為單位。但“大數(shù)據(jù)”應(yīng)用突出強調(diào)數(shù)據(jù)處理的實時性。在線個性化推薦、股票交易處理、實時路況信息等數(shù)據(jù)處理時間要求在分鐘甚至秒級。全球技術(shù)研究和咨詢公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對眾多公司和組織機構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢之一，而其他領(lǐng)域的研究，如云計算、下一代分析、內(nèi)存計算等也都與“大數(shù)據(jù)”的研究相輔相成。Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)，這意味著“大數(shù)據(jù)”技術(shù)將在未來3—5年內(nèi)進(jìn)入主流。而 “大數(shù)據(jù)”的多樣性決定了數(shù)據(jù)采集來源的復(fù)雜性，從智能傳感器到社交網(wǎng)絡(luò)數(shù)據(jù)，從聲音圖片到在線交易數(shù)據(jù)，可能性是無窮無盡的。選擇正確的數(shù)據(jù)來源并進(jìn)行交叉分析可以為企業(yè)創(chuàng)造最顯著的利益。隨著數(shù)據(jù)源的爆發(fā)式增長，數(shù)據(jù)的多樣性成為“大數(shù)據(jù)”應(yīng)用亟待解決的問題。例如如何實時地及通過各種數(shù)據(jù)庫管理系統(tǒng)來安全地訪問數(shù)據(jù)，如何通過優(yōu)化存儲策略，評估當(dāng)前的數(shù)據(jù)存儲技術(shù)并改進(jìn)、加強數(shù)據(jù)存儲能力，最大限度地利用現(xiàn)有的存儲投資。從某種意義上說，數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)。“大數(shù)據(jù)”不僅是一場技術(shù)變革，更是一場商業(yè)模式變革。在“大數(shù)據(jù)”概念提出之前，盡管互聯(lián)網(wǎng)為傳統(tǒng)企業(yè)提供了一個新的銷售渠道，但總體來看，二者平行發(fā)展，鮮有交集。我們可以看到，無論是Google通過分析用戶個人信息，根據(jù)用戶偏好提供精準(zhǔn)廣告，還是Facebook將用戶的線下社會關(guān)系遷移在線上，構(gòu)造一個半真實的實名帝國，但這些商業(yè)和消費模式仍不能脫離互聯(lián)網(wǎng)，傳統(tǒng)企業(yè)仍無法嫁接到互聯(lián)網(wǎng)中。同時，傳統(tǒng)企業(yè)通過傳統(tǒng)的用戶分析工具卻很難獲得大范圍用戶的真實需求。企業(yè)從大規(guī)模制造過渡到大規(guī)模定制，必須掌握用戶的需求特點。在互聯(lián)網(wǎng)時代，這些需求特征往往是在用戶不經(jīng)意的行為中透露出來的。通過對信息進(jìn)行關(guān)聯(lián)、參照、聚類、分類等方法分析，才能得到答案?！按髷?shù)據(jù)”在互聯(lián)網(wǎng)與傳統(tǒng)企業(yè)間建立一個交集。它推動互聯(lián)網(wǎng)企業(yè)融合進(jìn)傳統(tǒng)企業(yè)的供應(yīng)鏈，并在傳統(tǒng)企業(yè)種下互聯(lián)網(wǎng)基因。傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)企業(yè)的結(jié)合，網(wǎng)民和消費者的融合，必將引發(fā)消費模式、制造模式、管理模式的巨大變革。大數(shù)據(jù)正成為IT行業(yè)全新的制高點，各企業(yè)和組織紛紛助推大數(shù)據(jù)的發(fā)展，相關(guān)技術(shù)呈現(xiàn)百花齊放局面，并在互聯(lián)網(wǎng)應(yīng)用領(lǐng)域嶄露頭角，具體情況如下圖四所示：圖四大數(shù)據(jù)將帶來巨大的技術(shù)和商業(yè)機遇，大數(shù)據(jù)分析挖掘和利用將為企業(yè)帶來巨大的商業(yè)價值，而隨著應(yīng)用數(shù)據(jù)規(guī)模急劇增加，傳統(tǒng)計算面臨嚴(yán)重挑戰(zhàn)，大規(guī)模數(shù)據(jù)處理和行業(yè)應(yīng)用需求日益增加和迫切出現(xiàn)越來越多的大規(guī)模數(shù)據(jù)處理應(yīng)用需求，傳統(tǒng)系統(tǒng)難以提供足夠的存儲和計算資源進(jìn)行處理，云計算技術(shù)是最理想的解決方案。調(diào)查顯示：目前，IT專業(yè)人員對云計算中諸多關(guān)鍵技術(shù)最為關(guān)心的是大規(guī)模數(shù)據(jù)并行處理技術(shù)大數(shù)據(jù)并行處理沒有通用和現(xiàn)成的解決方案對于應(yīng)用行業(yè)來說，云計算平臺軟件、虛擬化軟件都不需要自己開發(fā)，但行業(yè)的大規(guī)模數(shù)據(jù)處理應(yīng)用沒有現(xiàn)成和通用的軟件，需要針對特定的應(yīng)用需求專門開發(fā)，涉及到諸多并行化算法、索引查詢優(yōu)化技術(shù)研究、以及系統(tǒng)的設(shè)計實現(xiàn)，這些都為大數(shù)據(jù)處理技術(shù)的發(fā)展提供了巨大的驅(qū)動力，2. 大數(shù)據(jù)應(yīng)用. 大數(shù)據(jù)應(yīng)用闡述大數(shù)據(jù)能做什么？我們那么多地方探討大數(shù)據(jù)，無非總結(jié)下來就做三件事：第一，對信息的理解。你發(fā)的每一張圖片、每一個新聞、每一個廣告，這些都是信息，你對這個信息的理解是大數(shù)據(jù)重要的領(lǐng)域。第二，用戶的理解，每個人的基本特征，你的潛在的特征，每個用戶上網(wǎng)的習(xí)慣等等，這些都是對用戶的理解。第三，關(guān)系。關(guān)系才是我們的核心，信息與信息之間的關(guān)系，一條微博和另外一條微博之間的關(guān)系，一個廣告和另外一個廣告的關(guān)系。一條微博和一個視頻之間的關(guān)系，這些在我們?nèi)庋廴タ吹臅r候是相對簡單的。比如有條微博說這兩天朝鮮綁架我們船的事，那條微博也大概是談這件事的。人眼一眼就能看出來。但是用機器怎么能看