【正文】 核心競爭力、并搶占市場先機(jī)的關(guān)鍵。企業(yè)的決策正在從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動”。在未來3到5年，我們將會看到那些真正理解大數(shù)據(jù)并能利用大數(shù)據(jù)進(jìn)行價(jià)值挖掘的企業(yè)和不懂得大數(shù)據(jù)價(jià)值挖掘企業(yè)之間的差距。真正能夠利用好大數(shù)據(jù)、并將其價(jià)值轉(zhuǎn)化成生產(chǎn)力的企業(yè)必將具備強(qiáng)勁有力的競爭優(yōu)勢，從而成為行業(yè)的領(lǐng)導(dǎo)者。在零售行業(yè)，對大數(shù)據(jù)的分析可以使零售商實(shí)時掌握市場動態(tài)并迅速做出應(yīng)對；在互聯(lián)網(wǎng)行業(yè)，對大數(shù)據(jù)的分析可以為商家制定更加精準(zhǔn)有效的營銷策略提供決策支持；在服務(wù)行業(yè)，對大數(shù)據(jù)的分析可以幫助企業(yè)為消費(fèi)者提供更加及時和個性化的服務(wù)；甚至在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會穩(wěn)定等不可小覷的重要作用。（4）推動商業(yè)模式的創(chuàng)新對于海量數(shù)據(jù)而言，提供髙附加價(jià)值的數(shù)據(jù)分析服務(wù)，將數(shù)據(jù)封裝為服務(wù)形成可對外開放、可商業(yè)化的核心能力，實(shí)現(xiàn)商業(yè)模式的創(chuàng)新，才是大數(shù)據(jù)運(yùn)用的關(guān)鍵所在。對于政府和企業(yè)而言，至少可以實(shí)踐4種商業(yè)模式的創(chuàng)新。第一是客戶關(guān)系管理的創(chuàng)新，通過大數(shù)據(jù)分析可以根據(jù)客戶的屬性，從不同角度深層次分析客戶、了解客戶，推出新的客戶關(guān)系管理平臺，以增加新的客戶，提高客戶的忠誠度，降低客戶流失率。第二是企業(yè)經(jīng)營決策指導(dǎo)的創(chuàng)新。企業(yè)可以利用用戶數(shù)據(jù)，有效提升資源利用能力，提高決策的準(zhǔn)確性，從而提升整體運(yùn)營效率。如，沃爾瑪通過分析客戶購買產(chǎn)品的種類組合，適時推出產(chǎn)品聯(lián)合促銷信息，以提升產(chǎn)品的銷量。第三是個性化精準(zhǔn)推薦。企業(yè)根據(jù)用戶喜好推薦各類產(chǎn)品和業(yè)務(wù)，如淘寶根據(jù)分析客戶的檢索數(shù)據(jù)，適時向客戶推送相關(guān)產(chǎn)品的廣告信息。第四是創(chuàng)新社會管理。政府可以將大數(shù)據(jù)運(yùn)用到交通、應(yīng)對突發(fā)災(zāi)害、維穩(wěn)等領(lǐng)域中。如，在大數(shù)據(jù)的幫助下，什么時間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個用戶的手機(jī)位移速度，便可以判斷當(dāng)時的路況，為擁堵做出準(zhǔn)確預(yù)警。2“大數(shù)據(jù)”的關(guān)鍵技術(shù)“大數(shù)據(jù)”已經(jīng)不僅是數(shù)據(jù)大這一事實(shí)了，更重要的是要對大數(shù)據(jù)進(jìn)行分析以獲取更多智能、深入和有價(jià)值的信息。而隨著“大數(shù)據(jù)”在越來越多的領(lǐng)域得到應(yīng)用，“大數(shù)據(jù)”也變得越來越復(fù)雜，因此“大數(shù)據(jù)”處理技術(shù)在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價(jià)值的決定性因素。大數(shù)據(jù)應(yīng)用分析結(jié)果需要經(jīng)過數(shù)據(jù)采集、預(yù)處理、存儲、分析和挖掘等多多個環(huán)節(jié)才能最終呈現(xiàn)出來?！按髷?shù)據(jù)”的采集和預(yù)處理在數(shù)據(jù)分析界有著一個“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時間都花在搜集和準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時間花在分析本身上。隨著新技術(shù)采集手段的出現(xiàn)，數(shù)據(jù)來源和數(shù)據(jù)類型變得豐富多彩，企業(yè)和機(jī)構(gòu)采集數(shù)據(jù)首先需要明確所需的數(shù)據(jù)內(nèi)容，并制定好數(shù)據(jù)分類存儲規(guī)則，以便更有效的采集數(shù)據(jù)。按照數(shù)據(jù)所有者劃分，企業(yè)數(shù)據(jù)采集源可以分成3類：一類是企業(yè)和機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，如系統(tǒng)日志、生產(chǎn)經(jīng)營數(shù)據(jù)等；一類是合作機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，可以通過設(shè)定好企業(yè)與合作機(jī)構(gòu)的系統(tǒng)接口進(jìn)行采集；還有一類是大量的網(wǎng)絡(luò)公開數(shù)據(jù)，可以通過網(wǎng)絡(luò)爬蟲或者網(wǎng)站公開的應(yīng)用開發(fā)接口（API）將所需信息從網(wǎng)頁中采集出來。目前一些互聯(lián)網(wǎng)企業(yè)和開源社區(qū)開發(fā)的海量數(shù)據(jù)采集工具，如Facebook的日志采集工具Scribe、淘寶的實(shí)時數(shù)據(jù)傳輸平臺TimeTunnel等，均已能夠滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。下面就物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)這兩個“大數(shù)據(jù)”的新型來源進(jìn)行簡單的介紹。（1）“大數(shù)據(jù)”與物聯(lián)網(wǎng)物聯(lián)網(wǎng)是一個信息技術(shù)領(lǐng)域的熱詞，其本質(zhì)是傳感器技術(shù)進(jìn)步的產(chǎn)物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯(lián)網(wǎng)形態(tài)。事實(shí)上，傳感器幾乎無處不在，現(xiàn)在大家常用的智能手機(jī)中，就包括重力感應(yīng)器、加速度感應(yīng)器、距離感應(yīng)器、光線感應(yīng)器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時無刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來源之一。妥善的利用這些數(shù)據(jù)可以監(jiān)測大氣的溫度、壓強(qiáng)、風(fēng)力，監(jiān)測橋梁、礦井的安全，監(jiān)測飛機(jī)、汽車的行駛狀態(tài)等。（2）“大數(shù)據(jù)”與社交網(wǎng)絡(luò)社交網(wǎng)絡(luò)是互聯(lián)網(wǎng)發(fā)展史上一個重要的里程碑。它把人類真實(shí)的人際關(guān)系完美地映射到互聯(lián)網(wǎng)空間，并借助互聯(lián)網(wǎng)的特性而大大升華。社交網(wǎng)絡(luò)使得互聯(lián)網(wǎng)甚至具備某些人類的特質(zhì)，譬如“情緒”：人們分享各自的喜怒哀樂，并相互傳染傳播。社交網(wǎng)絡(luò)為“大數(shù)據(jù)”帶來一類最具活力的數(shù)據(jù)類型，人們的喜好和偏愛。由于現(xiàn)實(shí)采集的數(shù)據(jù)與大數(shù)據(jù)分析過程中所需的數(shù)據(jù)，會存在結(jié)構(gòu)不一致或不完整的情況，大數(shù)據(jù)預(yù)處理過程可以通過數(shù)據(jù)提取、轉(zhuǎn)換和加載等操作，對采集的數(shù)據(jù)進(jìn)行初步的組織和數(shù)量，從而提高大數(shù)據(jù)分析質(zhì)量和效率?！按髷?shù)據(jù)”存儲技術(shù)大數(shù)據(jù)存儲需要滿足海量存儲、安全存儲和快速讀取的要求。其中海量存儲包含數(shù)據(jù)容量和數(shù)據(jù)文件量兩個方面，為保障系統(tǒng)存儲容量能夠以較低成本存儲海量數(shù)據(jù)并能實(shí)現(xiàn)快速平滑擴(kuò)展，分布式存儲和存儲虛擬化技術(shù)被廣泛采用；為更好的對系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開的對象存儲架構(gòu)應(yīng)用廣泛。為了保障數(shù)據(jù)安全存儲不丟失，大數(shù)據(jù)存儲過程中會采用加密等安全技術(shù)，同時會對數(shù)據(jù)進(jìn)行數(shù)次備份。為了支持?jǐn)?shù)據(jù)的快速讀取和并發(fā)訪問，分布式存儲和對象存儲架構(gòu)將會更有效。目前應(yīng)用廣泛的大數(shù)據(jù)海量文件存儲技術(shù)主要有谷歌文件系統(tǒng)（GFS）和基于GFS發(fā)展的開源Hadoop分布式文件系統(tǒng)（HDFS）等。一些大型網(wǎng)站將 “數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費(fèi)高昂的費(fèi)用來保管這些數(shù)據(jù)，以便加快用戶的訪問速度。谷歌公司購買了單獨(dú)的水力發(fā)電站，為其龐大的數(shù)據(jù)中心提供充足的電力。“大數(shù)據(jù)”分析技術(shù)當(dāng)大數(shù)據(jù)的采集和存儲已經(jīng)完成，如何分析數(shù)據(jù)，將這些碎片化的數(shù)據(jù)系統(tǒng)化，在無序的數(shù)據(jù)和信息世界里尋找有序的連接，挖掘到可應(yīng)用的價(jià)值，是真正駕馭大數(shù)據(jù)的重要環(huán)節(jié)。大數(shù)據(jù)的分析技術(shù)，大致包括5個基本方法理論技術(shù)：（1） 可視化分析可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，簡單明了易于接受。（2） 數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)。（3） 預(yù)測性分析能力大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一就是預(yù)測性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)。（4）語義引擎大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實(shí)現(xiàn)更好的用戶體驗(yàn)和廣告匹配。（5）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理能夠保證分析結(jié)果的真實(shí)和有價(jià)值。“大數(shù)據(jù)”與云計(jì)算對于許多組織來說，“大數(shù)據(jù)”對存儲容量的需求已經(jīng)超出目前的存儲能力。我們正處于PB級存儲