【正文】 對其進行正確、準(zhǔn)確的分析，將會帶來很高的價值回報。如網(wǎng)絡(luò)日志、視頻、圖片、音頻、文檔、地理位置信息等等。大數(shù)據(jù)的4個“V”是指大數(shù)據(jù)有四個層面特點：第一，數(shù)據(jù)體量巨大。比如大數(shù)據(jù)可以是包括網(wǎng)絡(luò)日志，RFID，傳感器網(wǎng)絡(luò)，社會網(wǎng)絡(luò)，社會數(shù)據(jù)，互聯(lián)網(wǎng)文本和文件；互聯(lián)網(wǎng)搜索索引；呼叫詳細(xì)記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復(fù)雜和/或跨學(xué)科的科研，軍事偵察，醫(yī)療記錄；攝影檔案館視頻檔案；大規(guī)模的電子商務(wù)等等。所以遍布全球的物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。 大數(shù)據(jù)的來源與特點隨著電子信息技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展，各種電子設(shè)備和數(shù)據(jù)終端迅速走入尋常百姓家庭，以移動通信發(fā)展為代表的手機等客戶端產(chǎn)生大量的數(shù)據(jù)；以PC為代表的微機時代產(chǎn)生了大量的計算機數(shù)據(jù)；以數(shù)碼相機為代表的電子設(shè)備產(chǎn)生大量的視頻、圖片數(shù)據(jù)；以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)應(yīng)用產(chǎn)生大量的web數(shù)據(jù)。因此，如此大量的數(shù)據(jù)用傳統(tǒng)的數(shù)據(jù)庫存儲、查詢和處理方式無法實現(xiàn)數(shù)據(jù)的實時處理，導(dǎo)致時效性大打折扣，甚至不可用，例如在追擊逃犯的時候，需要快速查出犯罪分子的行動路線、推測他可能去的地方等，如果數(shù)據(jù)處理速度較慢，很容易錯過機會。數(shù)據(jù)的最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。因此可以說大數(shù)據(jù)是海量數(shù)據(jù)的升級，大數(shù)據(jù)更突出了數(shù)據(jù)的本質(zhì)。海量數(shù)據(jù)的很多分析處理技術(shù)可以用于大數(shù)據(jù)的分析與處理，同樣大數(shù)據(jù)的相關(guān)理論和方法同樣可以用于海量數(shù)據(jù)。 “十一五”期間，重點研究方向包括： （1）微納集成電路、光電子器件和集成微系統(tǒng)的基礎(chǔ)研究； （2）信息處理環(huán)境及科學(xué)計算的基礎(chǔ)研究； （3）泛在、可控的下一代信息網(wǎng)絡(luò)的基礎(chǔ)研究； （4）信息獲取的基礎(chǔ)研究； （5）高可信、高效率軟件的基礎(chǔ)研究； （6）智能信息處理、和諧人機交互的基礎(chǔ)研究； （7）海量信息處理、存儲及應(yīng)用的基礎(chǔ)研究； （8）量子通信的基礎(chǔ)研究； （9）信息安全的基礎(chǔ)研究從科技部973重大基礎(chǔ)研究計劃資助的領(lǐng)域中可以看出，國家加大了對海量信息的研究力度，這里就產(chǎn)生了一個疑問，大數(shù)據(jù)大還是海量數(shù)據(jù)大？二者有何聯(lián)系？又有什么區(qū)別？海量信息僅僅是從數(shù)據(jù)量上進行界定，海量數(shù)據(jù)指數(shù)據(jù)量巨大，用普通的方法和工具處理起來相對困難，其計算時間和運算量較大，需要開發(fā)新的存儲、處理和挖掘等技術(shù)才可以進行快速處理。下面是國家科技部“973”計劃對信息領(lǐng)域的項目資助指南。這樣才能真正體現(xiàn)大數(shù)據(jù)的價值所在。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有價值的數(shù)據(jù)進行專業(yè)化處理。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從該定義看來大數(shù)據(jù)仍然體現(xiàn)在數(shù)據(jù)量大和價值兩方面。庫克耶編寫的《大數(shù)據(jù)時代》中指出大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣的捷徑，而采用對所有數(shù)據(jù)進行分析處理。維克托因此大數(shù)據(jù)的核心是價值，數(shù)據(jù)量大只是大數(shù)據(jù)的表象，這也是為什么大數(shù)據(jù)引起業(yè)界廣泛關(guān)注的重要原因。以后各章將介紹與大數(shù)據(jù)有關(guān)的技術(shù)、工具、商業(yè)模型及應(yīng)用案例等，引導(dǎo)讀者逐步深入，了解和掌握大數(shù)據(jù)的基本知識和技能，為從事大數(shù)據(jù)及其相關(guān)產(chǎn)業(yè)打下基礎(chǔ)。第一章 大數(shù)據(jù)概論當(dāng)移動通信和互聯(lián)網(wǎng)給我們帶來的生活方式、思維方式的巨大改變還沒有消退的時候，大數(shù)據(jù)時代以排山倒海之勢到來，什么是大數(shù)據(jù)？大數(shù)據(jù)能為人們帶來哪里益處？大數(shù)據(jù)如何改變?nèi)藗兊纳?、工作和學(xué)習(xí)？大數(shù)據(jù)下的政府、企業(yè)和過去有什么不同？這一系列的問題困擾著很多人，甚至連一些專家學(xué)者也對此迷惘。在人人都談大數(shù)據(jù)的時代并不是每個人都真正理解大數(shù)據(jù)的精髓，因此本章給讀者簡單的介紹一下大數(shù)據(jù)的定義、原理、方法、應(yīng)用及存在的問題。大數(shù)據(jù)（Big Data）是指數(shù)據(jù)量大到用常規(guī)工具和方法無法進行處理的蘊含著大量價值的數(shù)據(jù)集合。由此可見，對于大數(shù)據(jù)的研究和應(yīng)用主要集中于兩點:一、從技術(shù)層面研究大數(shù)據(jù)的模型及處理算法、開發(fā)相應(yīng)的處理工具等；二、從商業(yè)模式層面尋找大數(shù)據(jù)的商業(yè)模型、盈利模式、產(chǎn)業(yè)發(fā)展等。邁爾舍恩伯格和肯尼斯大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。知名研究機構(gòu)Gartner對大數(shù)據(jù)給出了這樣的定義。Gartner的定義更多的傾向于大數(shù)據(jù)的決策優(yōu)化作用。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，初級或者粗糙的大數(shù)據(jù)產(chǎn)業(yè)主要是提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”；而更高層次的大數(shù)據(jù)產(chǎn)業(yè)將數(shù)據(jù)信息產(chǎn)生的價值應(yīng)用到具體的行業(yè)，發(fā)揮行業(yè)價值，從而實現(xiàn)數(shù)據(jù)信息價值的倍增。 大數(shù)據(jù)與海量信息的關(guān)系在10年前，我們經(jīng)常聽到一個名詞“海量信息”，用來描述大量數(shù)據(jù)，這是在信息技術(shù)飛速發(fā)展的大背景下，數(shù)據(jù)量增加帶來的現(xiàn)實問題，為此國家在“十一五”期間還加大的對海量信息及其相關(guān)技術(shù)的研究?！笆晃濉逼陂g，信息領(lǐng)域基礎(chǔ)研究的發(fā)展目標(biāo)是根據(jù)國際信息技術(shù)的發(fā)展趨勢，結(jié)合我國的國情和發(fā)展?fàn)顩r，著重從信息獲取、處理、傳輸、存儲、再現(xiàn)、安全、利用，信息系統(tǒng)的基礎(chǔ)元器件、信息處理環(huán)境、科學(xué)計算、人工智能、控制理論等方面開展系統(tǒng)深入的研究，為我國信息產(chǎn)業(yè)的跨越式發(fā)展奠定堅實的理論和技術(shù)基礎(chǔ)。大數(shù)據(jù)的數(shù)據(jù)量明顯遠(yuǎn)大于海量數(shù)據(jù)，當(dāng)然二者沒有嚴(yán)格的區(qū)分門限，通常意義上講，大數(shù)據(jù)的數(shù)據(jù)量要大于海量數(shù)據(jù)。大數(shù)據(jù)不僅僅從量上進行了分析，而且從本質(zhì)上進行了定義，突出了其核心價值。既然談到數(shù)據(jù)量的問題，這里有必要介紹關(guān)于數(shù)據(jù)量的一些常見數(shù)量單位。它們按照進率1024（210）來計算：1 Byte= 8bit 1 KB = 1,024 Bytes1 MB = 1,024 KB = 1,048,576 Bytes1 GB = 1,024 MB = 1,048,576 KB1 TB = 1,024 GB = 1,048,576 MB1 PB = 1,024 TB = 1,048,576 GB1 EB = 1,024 PB = 1,048,576 TB1 ZB = 1,024 EB = 1,048,576 PB1 YB = 1,024 ZB = 1,048,576 EB1 BB = 1,024 YB = 1,048,576 ZB1 NB = 1,024 BB = 1,048,576 YB1 DB = 1,024 NB = 1,048,576 BB當(dāng)前用的最多的關(guān)于大數(shù)據(jù)描述的數(shù)量級是TB和PB，一般行業(yè)或者政府機構(gòu)的數(shù)據(jù)基本在PB級上，比如目前某省的農(nóng)業(yè)數(shù)據(jù)大概有幾百TB到幾十個PB之間，全國的每天產(chǎn)生的交通數(shù)據(jù)大概是幾個到幾百個TB量級上。同樣在商業(yè)領(lǐng)域，每天的電子商務(wù)交易記錄、顧客瀏覽記錄等都是大量的數(shù)據(jù)，因此這些數(shù)據(jù)的處理都需要快速。因此大數(shù)據(jù)的產(chǎn)生是源于信息技術(shù)的發(fā)展和普及。大數(shù)據(jù)的存在形式多種多樣，這也決定了大數(shù)據(jù)的處理非常困難，需要運用數(shù)學(xué)、統(tǒng)計學(xué)、物理學(xué)等知識進行全方位的研究。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)庫應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點。從TB級別，躍升到PB級別；第二，數(shù)據(jù)類型繁多。第三，處理速度快，極短的時間可從各種類型的數(shù)據(jù)中快速獲得具有較高價值的信息，這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。因此業(yè)界將其歸納為4個“V”——Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類型繁多）、Velocity（處理速度快）、Value（價值密度高）。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)最核心的價值就是在于對于海量數(shù)據(jù)進行存儲和分析。 大數(shù)據(jù)的用途大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用幾個部分。工程和科學(xué)問題尚未被重視。大數(shù)據(jù)的應(yīng)用范圍非常廣，可以說，需要信息的地方就需要大數(shù)據(jù)。第一，利用大數(shù)據(jù)探索實現(xiàn)信息庫的充實。例如，IBM Info Sphere Data Explore使某全球航空制造商中的技師、支持人員和工程師能夠即時通過單一訪問點查看位于不同應(yīng)用程序中的信息。第二，利用運營分析實現(xiàn)運營優(yōu)化。巴基斯坦移動運營商Ufone部署了IBM大數(shù)據(jù)解決方案，通過實時識別用戶行為，開展應(yīng)對特定目標(biāo)的營銷活動，并使用預(yù)測分析來設(shè)計更好的營銷活動和電話推廣計劃，有效降低了客戶流失率。企業(yè)需要增強現(xiàn)有數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，實現(xiàn)大容量數(shù)據(jù)傳輸、低時延、和實時查詢需求，確保有效利用預(yù)測分析和商業(yè)智能實現(xiàn)企業(yè)效益和管理水平的提升。第四，利用安全性和智能擴展實現(xiàn)犯罪防范，實現(xiàn)社會和諧穩(wěn)定。重點人群的監(jiān)控、重點領(lǐng)域的布防、重要事件的預(yù)防和應(yīng)急燈都需要大數(shù)據(jù)來實現(xiàn)準(zhǔn)確