【正文】 精選資料運(yùn)營(yíng)商大數(shù)據(jù)應(yīng)用解決方案目 錄1. 大數(shù)據(jù)概述 4. 概述 4. 大數(shù)據(jù)定義 4. 大數(shù)據(jù)技術(shù)發(fā)展 62. 大數(shù)據(jù)應(yīng)用 9. 大數(shù)據(jù)應(yīng)用闡述 9. 大數(shù)據(jù)應(yīng)用架構(gòu) 11. 大數(shù)據(jù)行業(yè)應(yīng)用 11. 醫(yī)療行業(yè) 11. 能源行業(yè) 12. 通信行業(yè) 12. 零售業(yè) 133. 大數(shù)據(jù)解決方案 14. 大數(shù)據(jù)技術(shù)組成 14. 分析技術(shù) 14. 可視化分析 14. 數(shù)據(jù)挖掘算法 14. 預(yù)測(cè)分析能力 14. 語(yǔ)義引擎 14. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理 15. 存儲(chǔ)數(shù)據(jù)庫(kù) 15. 分布式計(jì)算技術(shù) 16. 大數(shù)據(jù)處理過(guò)程 18. 采集 18. 導(dǎo)入/預(yù)處理 19. 統(tǒng)計(jì)/分析 19. 挖掘 19. 大數(shù)據(jù)處理的核心技術(shù)Hadoop 19. Hadoop的組成 20. Hadoop的優(yōu)點(diǎn)： 23. 高可靠性。 23. 高擴(kuò)展性。 23. 高效性。 23. 高容錯(cuò)性。 23. Hadoop的不足 23. 主要商業(yè)性“大數(shù)據(jù)”處理方案 24. IBM InfoSphere大數(shù)據(jù)分析平臺(tái) 24. Or a c l e Bi g Da t aApplianc 25. Mi c r o s o f t S QLServer 25. Sybase IQ 26. 其他“大數(shù)據(jù)”解決方案 26. EMC 26. BigQuery 27. 大數(shù)據(jù)”與科技文獻(xiàn)信息處理 27. 大數(shù)據(jù)處理技術(shù)發(fā)展前景 27. 大數(shù)據(jù)復(fù)雜度降低 27. 大數(shù)據(jù)細(xì)分市場(chǎng) 28. 大數(shù)據(jù)開(kāi)源 28. Hadoop將加速發(fā)展 28. 打包的大數(shù)據(jù)行業(yè)分析應(yīng)用 28. 大數(shù)據(jù)分析的革命性方法出現(xiàn) 29. 大數(shù)據(jù)與云計(jì)算:深度融合 29. 大數(shù)據(jù)一體機(jī)陸續(xù)發(fā)布 294. 基于基站大數(shù)據(jù)應(yīng)用及案例 30. 氣象災(zāi)害應(yīng)急短信發(fā)布平臺(tái) 30. 概述 30. 項(xiàng)目背景 30. 平臺(tái)概述 30. 平臺(tái)建設(shè)特點(diǎn)與原則 30. 建設(shè)特點(diǎn) 30. 建設(shè)原則 30. 大數(shù)據(jù)管理平臺(tái)特點(diǎn) 31. 平臺(tái)整體架構(gòu) 31. 建設(shè)原理 31. 平臺(tái)總體設(shè)計(jì) 331. 平臺(tái)總體結(jié)構(gòu) 33. 平臺(tái)技術(shù)思路 34. 旅游客源分析 34. 整體方案 34. 方案思路 34. 系統(tǒng)架構(gòu) 351. 大數(shù)據(jù)概述. 概述大數(shù)據(jù)，IT行業(yè)的又一次技術(shù)變革，大數(shù)據(jù)的浪潮洶涌而至，對(duì)國(guó)家治理、企業(yè)決策和個(gè)人生活都在產(chǎn)生深遠(yuǎn)的影響，并將成為云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域又一重大創(chuàng)新變革。未來(lái)的十年將是一個(gè)“大數(shù)據(jù)”引領(lǐng)的智慧科技的時(shí)代、隨著社交網(wǎng)絡(luò)的逐漸成熟，移動(dòng)帶寬迅速提升、云計(jì)算、物聯(lián)網(wǎng)應(yīng)用更加豐富、更多的傳感設(shè)備、移動(dòng)終端接入到網(wǎng)絡(luò)，由此而產(chǎn)生的數(shù)據(jù)及增長(zhǎng)速度將比歷史上的任何時(shí)期都要多、都要快。數(shù)據(jù)技術(shù)發(fā)展歷史如圖一所示：圖一. 大數(shù)據(jù)定義“大數(shù)據(jù)”是一個(gè)涵蓋多種技術(shù)的概念，簡(jiǎn)單地說(shuō)，是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念定義為4個(gè)V，即大量化(Volume)、多樣化(Variety)、快速化(Velocity)及由此產(chǎn)生的價(jià)值(Value)。如圖二。圖二要理解大數(shù)據(jù)這一概念，首先要從大入手，大是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過(guò)去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個(gè)V來(lái)總結(jié)(Volume、Variety、Value和Velocity)，即體量大、多樣性、價(jià)值密度低、速度快。216。 數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別。216。 數(shù)據(jù)類(lèi)型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。216。 價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。216。 處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。大數(shù)據(jù)技術(shù)是指從各種各樣類(lèi)型的巨量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)。解決大數(shù)據(jù)問(wèn)題的核心是大數(shù)據(jù)技術(shù)。目前所說(shuō)的大數(shù)據(jù)不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺(tái)和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過(guò)解決巨量數(shù)據(jù)處理問(wèn)題促進(jìn)其突破性發(fā)展。因此，大數(shù)據(jù)時(shí)代帶來(lái)的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價(jià)值的信息，也體現(xiàn)在如何加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā)，搶占時(shí)代發(fā)展的前沿。. 大數(shù)據(jù)技術(shù)發(fā)展大數(shù)據(jù)技術(shù)描述了一種新一代技術(shù)和構(gòu)架，用于以很經(jīng)濟(jì)的方式、以高速的捕獲、發(fā)現(xiàn)和分析技術(shù)，從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值，而且未來(lái)急劇增長(zhǎng)的數(shù)據(jù)迫切需要尋求新的處理技術(shù)手段。如圖三所示：圖三在“大數(shù)據(jù)”(Big data)時(shí)代，通過(guò)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)，人們能夠及時(shí)全面地獲得大信息。同時(shí)，信息自身存在形式的變化與演進(jìn)，也使得作為信息載體的數(shù)據(jù)以遠(yuǎn)超人們想象的速度迅速膨脹。云時(shí)代的到來(lái)使得數(shù)據(jù)創(chuàng)造的主體由企業(yè)逐漸轉(zhuǎn)向個(gè)體，而個(gè)體所產(chǎn)生的絕大部分?jǐn)?shù)據(jù)為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)。信息化技術(shù)的普及使得企業(yè)更多的辦公流程通過(guò)網(wǎng)絡(luò)得以實(shí)現(xiàn)，由此產(chǎn)生的數(shù)據(jù)也以非結(jié)構(gòu)化數(shù)據(jù)為主。預(yù)計(jì)到2012年，非結(jié)構(gòu)化數(shù)據(jù)將達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上。用于提取智慧的“大數(shù)據(jù)”，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI、鏈路挖掘等應(yīng)用對(duì)數(shù)據(jù)處理的時(shí)間要求往往以小時(shí)或天為單位。但“大數(shù)據(jù)”應(yīng)用突出強(qiáng)調(diào)數(shù)據(jù)處理的實(shí)時(shí)性。在線個(gè)性化推薦、股票交易處理、實(shí)時(shí)路況信息等數(shù)據(jù)處理時(shí)間要求在分鐘甚至秒級(jí)。全球技術(shù)研究和咨詢(xún)公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對(duì)眾多公司和組織機(jī)構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢(shì)之一，而其他領(lǐng)域的研究，如云計(jì)算、下一代分析、內(nèi)存計(jì)算等也都與“大數(shù)據(jù)”的研究相輔相成。Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)，這意味著“大數(shù)據(jù)”技術(shù)將在未來(lái)3—5年內(nèi)進(jìn)入主流。而 “大數(shù)據(jù)”的多樣性決定了數(shù)據(jù)采集來(lái)源的復(fù)雜性，從智能傳感器到社交網(wǎng)絡(luò)數(shù)據(jù)，從聲音圖片到在線交易數(shù)據(jù)，可能性是無(wú)窮無(wú)盡的。選擇正確的數(shù)據(jù)來(lái)源并進(jìn)行交叉分析可以為企業(yè)創(chuàng)造最顯著的利益。隨著數(shù)據(jù)源的爆發(fā)式增長(zhǎng)，數(shù)據(jù)的多樣性成為“大數(shù)據(jù)”應(yīng)用亟待解決的問(wèn)題。例如如何實(shí)時(shí)地及通過(guò)各種數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)安全地訪問(wèn)數(shù)據(jù)，如何通過(guò)優(yōu)化存儲(chǔ)策略，評(píng)估當(dāng)前的數(shù)據(jù)存儲(chǔ)技術(shù)并改進(jìn)、加強(qiáng)數(shù)據(jù)存儲(chǔ)能力，最大限度地利用現(xiàn)有的存儲(chǔ)投資。從某種意義上說(shuō)，數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)?！按髷?shù)據(jù)”不僅是一場(chǎng)技術(shù)變革，更是一場(chǎng)商業(yè)模式變革。在“大數(shù)據(jù)”概念提出之前，盡管互聯(lián)網(wǎng)為傳統(tǒng)企業(yè)提供了一個(gè)新的銷(xiāo)售渠道，但總體來(lái)看，二者平行發(fā)展，鮮有交集。我們可以看到，無(wú)論是Google通過(guò)分析用戶(hù)個(gè)人信息，根據(jù)用戶(hù)偏好提供精準(zhǔn)廣告，還是Facebook將用戶(hù)的線下社會(huì)關(guān)系遷移在線上，構(gòu)造一個(gè)半真實(shí)的實(shí)名帝國(guó)，但這些商業(yè)和消費(fèi)模式仍不能脫離互聯(lián)網(wǎng)，傳統(tǒng)企業(yè)仍無(wú)法嫁接到互聯(lián)網(wǎng)中。同時(shí)，傳統(tǒng)企業(yè)通過(guò)傳統(tǒng)的用戶(hù)分析工具卻很難獲得大范圍用戶(hù)的真實(shí)需求。企業(yè)從大規(guī)模制造過(guò)渡到大規(guī)模定制，必須掌握用戶(hù)的需求特點(diǎn)。在互聯(lián)網(wǎng)時(shí)代，這些需求特征往往是在用戶(hù)不經(jīng)意的行為中透露出來(lái)的。通過(guò)對(duì)信息進(jìn)行關(guān)聯(lián)、參照、聚類(lèi)、分類(lèi)等方法分析，才能得到答案?！按髷?shù)據(jù)”在互聯(lián)網(wǎng)與傳統(tǒng)企業(yè)間建立一個(gè)交集。它推動(dòng)互聯(lián)網(wǎng)企業(yè)融合進(jìn)傳統(tǒng)企業(yè)的供應(yīng)鏈，并在傳統(tǒng)企業(yè)種下互聯(lián)網(wǎng)基因。傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)企業(yè)的結(jié)合，網(wǎng)民和消費(fèi)者的融合，必將引發(fā)消費(fèi)模式、制造模式、管理模式的巨大變革。大數(shù)據(jù)正成為IT行業(yè)全新的制高點(diǎn)，各企業(yè)和組織紛紛助推大數(shù)據(jù)的發(fā)展，相關(guān)技術(shù)呈現(xiàn)百花齊放局面，并在互聯(lián)網(wǎng)應(yīng)用領(lǐng)域嶄露頭角，具體情況如下圖四所示：圖四大數(shù)據(jù)將帶來(lái)巨大的技術(shù)和商業(yè)機(jī)遇，大數(shù)據(jù)分析挖掘和利用將為企業(yè)帶來(lái)巨大的商業(yè)價(jià)值，而隨著應(yīng)用數(shù)據(jù)規(guī)模急劇增加，傳統(tǒng)計(jì)算面臨嚴(yán)重挑戰(zhàn)，大規(guī)模數(shù)據(jù)處理和行業(yè)應(yīng)用需求日益增加和迫切出現(xiàn)越來(lái)越多的大規(guī)模數(shù)據(jù)處理應(yīng)用需求，傳統(tǒng)系統(tǒng)難以提供足夠的存儲(chǔ)和計(jì)算資源進(jìn)行處理，云計(jì)算技術(shù)是最理想的解決方案。調(diào)查顯示：目前，IT專(zhuān)業(yè)人員對(duì)云計(jì)算中諸多關(guān)鍵技術(shù)最為關(guān)心的是大規(guī)模數(shù)據(jù)并行處理技術(shù)大數(shù)據(jù)并行處理沒(méi)有通用和現(xiàn)成的解決方案對(duì)于應(yīng)用行業(yè)來(lái)說(shuō)，云計(jì)算平臺(tái)軟件、虛擬化軟件都不需要自己開(kāi)發(fā)，但行業(yè)的大規(guī)模數(shù)據(jù)處理應(yīng)用沒(méi)有現(xiàn)成和通用的軟件，需要針對(duì)特定的應(yīng)用需求專(zhuān)門(mén)開(kāi)發(fā)，涉及到諸多并行化算法、索引查詢(xún)優(yōu)化技術(shù)研究、以及系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，這些都為大數(shù)據(jù)處理技術(shù)的發(fā)展提供了巨大的驅(qū)動(dòng)力，2. 大數(shù)據(jù)應(yīng)用. 大數(shù)據(jù)應(yīng)用闡述大數(shù)據(jù)能做什么？我們那么多地方探討大數(shù)據(jù)，無(wú)非總結(jié)下來(lái)就做三件事：第一，對(duì)信息的理解。你發(fā)的每一張圖片、每一個(gè)新聞、每一個(gè)廣告，這些都是信息，你對(duì)這個(gè)信息的理解是大數(shù)據(jù)重要的領(lǐng)域。第二，用戶(hù)的理解，每個(gè)人的基本特征，你的潛在的特征，每個(gè)用戶(hù)上網(wǎng)的習(xí)慣等等，這些都是對(duì)用戶(hù)的理解。第三，關(guān)系。關(guān)系才是我們的核心，信息與信息之間的關(guān)系，一條微博和另外一條微博之間的關(guān)系，一個(gè)廣告和另外一個(gè)廣告的關(guān)系。一條微博和一個(gè)視頻之間的關(guān)系，這些在我們?nèi)庋廴タ吹臅r(shí)候是相對(duì)簡(jiǎn)單的。比如有條微博說(shuō)這兩天朝鮮綁架我們船的事，那條微博也大概是談這件事的。人眼一眼就能看出來(lái)。但是用機(jī)器怎么能看