【正文】 核心競爭力、并搶占市場先機的關鍵。企業(yè)的決策正在從“業(yè)務驅動”轉變?yōu)椤皵?shù)據驅動”。在未來3到5年，我們將會看到那些真正理解大數(shù)據并能利用大數(shù)據進行價值挖掘的企業(yè)和不懂得大數(shù)據價值挖掘企業(yè)之間的差距。真正能夠利用好大數(shù)據、并將其價值轉化成生產力的企業(yè)必將具備強勁有力的競爭優(yōu)勢，從而成為行業(yè)的領導者。在零售行業(yè)，對大數(shù)據的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對；在互聯(lián)網行業(yè)，對大數(shù)據的分析可以為商家制定更加精準有效的營銷策略提供決策支持；在服務行業(yè)，對大數(shù)據的分析可以幫助企業(yè)為消費者提供更加及時和個性化的服務；甚至在公共事業(yè)領域，大數(shù)據也開始發(fā)揮促進經濟發(fā)展、維護社會穩(wěn)定等不可小覷的重要作用。（4）推動商業(yè)模式的創(chuàng)新對于海量數(shù)據而言，提供髙附加價值的數(shù)據分析服務，將數(shù)據封裝為服務形成可對外開放、可商業(yè)化的核心能力，實現(xiàn)商業(yè)模式的創(chuàng)新，才是大數(shù)據運用的關鍵所在。對于政府和企業(yè)而言，至少可以實踐4種商業(yè)模式的創(chuàng)新。第一是客戶關系管理的創(chuàng)新，通過大數(shù)據分析可以根據客戶的屬性，從不同角度深層次分析客戶、了解客戶，推出新的客戶關系管理平臺，以增加新的客戶，提高客戶的忠誠度，降低客戶流失率。第二是企業(yè)經營決策指導的創(chuàng)新。企業(yè)可以利用用戶數(shù)據，有效提升資源利用能力，提高決策的準確性，從而提升整體運營效率。如，沃爾瑪通過分析客戶購買產品的種類組合，適時推出產品聯(lián)合促銷信息，以提升產品的銷量。第三是個性化精準推薦。企業(yè)根據用戶喜好推薦各類產品和業(yè)務，如淘寶根據分析客戶的檢索數(shù)據，適時向客戶推送相關產品的廣告信息。第四是創(chuàng)新社會管理。政府可以將大數(shù)據運用到交通、應對突發(fā)災害、維穩(wěn)等領域中。如，在大數(shù)據的幫助下，什么時間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個用戶的手機位移速度，便可以判斷當時的路況，為擁堵做出準確預警。2“大數(shù)據”的關鍵技術“大數(shù)據”已經不僅是數(shù)據大這一事實了，更重要的是要對大數(shù)據進行分析以獲取更多智能、深入和有價值的信息。而隨著“大數(shù)據”在越來越多的領域得到應用，“大數(shù)據”也變得越來越復雜，因此“大數(shù)據”處理技術在大數(shù)據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。大數(shù)據應用分析結果需要經過數(shù)據采集、預處理、存儲、分析和挖掘等多多個環(huán)節(jié)才能最終呈現(xiàn)出來?！按髷?shù)據”的采集和預處理在數(shù)據分析界有著一個“拇指法則”，即數(shù)據分析工作至少有70%~80%的時間都花在搜集和準備數(shù)據上，而僅有20%~30%的時間花在分析本身上。隨著新技術采集手段的出現(xiàn)，數(shù)據來源和數(shù)據類型變得豐富多彩，企業(yè)和機構采集數(shù)據首先需要明確所需的數(shù)據內容，并制定好數(shù)據分類存儲規(guī)則，以便更有效的采集數(shù)據。按照數(shù)據所有者劃分，企業(yè)數(shù)據采集源可以分成3類：一類是企業(yè)和機構的內部數(shù)據，如系統(tǒng)日志、生產經營數(shù)據等；一類是合作機構的內部數(shù)據，可以通過設定好企業(yè)與合作機構的系統(tǒng)接口進行采集；還有一類是大量的網絡公開數(shù)據，可以通過網絡爬蟲或者網站公開的應用開發(fā)接口（API）將所需信息從網頁中采集出來。目前一些互聯(lián)網企業(yè)和開源社區(qū)開發(fā)的海量數(shù)據采集工具，如Facebook的日志采集工具Scribe、淘寶的實時數(shù)據傳輸平臺TimeTunnel等，均已能夠滿足每秒數(shù)百MB的日志數(shù)據采集和傳輸需求。下面就物聯(lián)網及社交網絡這兩個“大數(shù)據”的新型來源進行簡單的介紹。（1）“大數(shù)據”與物聯(lián)網物聯(lián)網是一個信息技術領域的熱詞，其本質是傳感器技術進步的產物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯(lián)網形態(tài)。事實上，傳感器幾乎無處不在，現(xiàn)在大家常用的智能手機中，就包括重力感應器、加速度感應器、距離感應器、光線感應器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時無刻不在產生大量的數(shù)據，這些成為大數(shù)據的重要來源之一。妥善的利用這些數(shù)據可以監(jiān)測大氣的溫度、壓強、風力，監(jiān)測橋梁、礦井的安全，監(jiān)測飛機、汽車的行駛狀態(tài)等。（2）“大數(shù)據”與社交網絡社交網絡是互聯(lián)網發(fā)展史上一個重要的里程碑。它把人類真實的人際關系完美地映射到互聯(lián)網空間，并借助互聯(lián)網的特性而大大升華。社交網絡使得互聯(lián)網甚至具備某些人類的特質，譬如“情緒”：人們分享各自的喜怒哀樂，并相互傳染傳播。社交網絡為“大數(shù)據”帶來一類最具活力的數(shù)據類型，人們的喜好和偏愛。由于現(xiàn)實采集的數(shù)據與大數(shù)據分析過程中所需的數(shù)據，會存在結構不一致或不完整的情況，大數(shù)據預處理過程可以通過數(shù)據提取、轉換和加載等操作，對采集的數(shù)據進行初步的組織和數(shù)量，從而提高大數(shù)據分析質量和效率。“大數(shù)據”存儲技術大數(shù)據存儲需要滿足海量存儲、安全存儲和快速讀取的要求。其中海量存儲包含數(shù)據容量和數(shù)據文件量兩個方面，為保障系統(tǒng)存儲容量能夠以較低成本存儲海量數(shù)據并能實現(xiàn)快速平滑擴展，分布式存儲和存儲虛擬化技術被廣泛采用；為更好的對系統(tǒng)中海量文件進行有效管理，將數(shù)據傳輸和數(shù)據控制分離開的對象存儲架構應用廣泛。為了保障數(shù)據安全存儲不丟失，大數(shù)據存儲過程中會采用加密等安全技術，同時會對數(shù)據進行數(shù)次備份。為了支持數(shù)據的快速讀取和并發(fā)訪問，分布式存儲和對象存儲架構將會更有效。目前應用廣泛的大數(shù)據海量文件存儲技術主要有谷歌文件系統(tǒng)（GFS）和基于GFS發(fā)展的開源Hadoop分布式文件系統(tǒng)（HDFS）等。一些大型網站將 “數(shù)據”視為最核心的資產，他們甚至花費高昂的費用來保管這些數(shù)據，以便加快用戶的訪問速度。谷歌公司購買了單獨的水力發(fā)電站，為其龐大的數(shù)據中心提供充足的電力?！按髷?shù)據”分析技術當大數(shù)據的采集和存儲已經完成，如何分析數(shù)據，將這些碎片化的數(shù)據系統(tǒng)化，在無序的數(shù)據和信息世界里尋找有序的連接，挖掘到可應用的價值，是真正駕馭大數(shù)據的重要環(huán)節(jié)。大數(shù)據的分析技術，大致包括5個基本方法理論技術：（1） 可視化分析可視化分析能夠直觀的呈現(xiàn)大數(shù)據特點，簡單明了易于接受。（2） 數(shù)據挖掘算法大數(shù)據分析的理論核心就是數(shù)據挖掘算法，各種數(shù)據挖掘的算法基于不同的數(shù)據類型和格式能更加科學的呈現(xiàn)出數(shù)據本身具備的特點，而這些數(shù)據挖掘的算法能夠快速的處理大數(shù)據。（3） 預測性分析能力大數(shù)據分析最重要的應用領域之一就是預測性分析，從大數(shù)據中挖掘出特點，通過科學的建立模型，之后便可以通過模型帶入新的數(shù)據，從而預測未來的數(shù)據。（4）語義引擎大數(shù)據分析廣泛應用于網絡數(shù)據挖掘，可從用戶的搜索關鍵詞、標簽關鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現(xiàn)更好的用戶體驗和廣告匹配。（5）數(shù)據質量和數(shù)據管理大數(shù)據分析離不開數(shù)據質量和數(shù)據管理，高質量的數(shù)據和有效的數(shù)據管理能夠保證分析結果的真實和有價值?！按髷?shù)據”與云計算對于許多組織來說，“大數(shù)據”對存儲容量的需求已經超出目前的存儲能力。我們正處于PB級存儲