【正文】 三個(gè)維度是決定數(shù)據(jù)是否有價(jià)值的關(guān)鍵。 三是數(shù)據(jù)價(jià)值密度低（Value）?！按髷?shù)據(jù)”的特征“大數(shù)據(jù)”具有4V的特點(diǎn)：一是數(shù)據(jù)容量巨大（Volume）。2012年3月，美國(guó)政府發(fā)布《大數(shù)據(jù)研究和發(fā)展計(jì)劃》，同時(shí)組建大數(shù)據(jù)高級(jí)指導(dǎo)小組，以協(xié)調(diào)政府在數(shù)據(jù)領(lǐng)域的兩億多美元投資。伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁(yè)的索引庫(kù)，開(kāi)始提供較為精確的搜索服務(wù)，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點(diǎn)。“大數(shù)據(jù)”的要義是盡可能地收集眾多可以相互疊加補(bǔ)充的信息，據(jù)以完成對(duì)“未來(lái)”的預(yù)測(cè)?！按髷?shù)據(jù)”的認(rèn)識(shí)與思考 劉姝祎目錄1“大數(shù)據(jù)”的時(shí)代背景 4“大數(shù)據(jù)”的概念 4“大數(shù)據(jù)”產(chǎn)生的背景 4“大數(shù)據(jù)”的特征 5“大數(shù)據(jù)”的發(fā)展階段 5“大數(shù)據(jù)”帶來(lái)的機(jī)遇 62“大數(shù)據(jù)”的關(guān)鍵技術(shù) 9“大數(shù)據(jù)”的采集和預(yù)處理 9“大數(shù)據(jù)”存儲(chǔ)技術(shù) 10“大數(shù)據(jù)”分析技術(shù) 10“大數(shù)據(jù)”與云計(jì)算 113大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用 12 12“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用 13：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14 14 15 164問(wèn)題與挑戰(zhàn) 18 18 18 18 18 19 19 195對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 20 20 21 221“大數(shù)據(jù)”的時(shí)代背景“大數(shù)據(jù)”的概念紐約時(shí)報(bào)在2012年宣布“大數(shù)據(jù)時(shí)代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時(shí)下最火熱的詞匯。這些數(shù)據(jù)可能有些混亂，甚至?xí)霈F(xiàn)紕漏，但數(shù)據(jù)量的“多“和時(shí)間的“即刻”可以彌補(bǔ)數(shù)據(jù)質(zhì)量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預(yù)測(cè)”出最“可靠”的答案，指引人們迅速采取行動(dòng)。當(dāng)時(shí)搜索引擎要存儲(chǔ)和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無(wú)法應(yīng)對(duì)。這啟發(fā)全社會(huì)開(kāi)始重新審視數(shù)據(jù)的巨大價(jià)值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開(kāi)始嘗試這種新的理念和技術(shù)，取得初步成效。根據(jù)這一計(jì)劃，美國(guó)希望利用大數(shù)據(jù)技術(shù)再多個(gè)領(lǐng)域?qū)崿F(xiàn)突破，包括科研教學(xué)、環(huán)境保護(hù)、國(guó)土安全等，此舉標(biāo)志著，美國(guó)把應(yīng)對(duì)大數(shù)據(jù)技術(shù)革命帶來(lái)的機(jī)遇和挑戰(zhàn)，提高到國(guó)家戰(zhàn)略層面，形成了全體動(dòng)員格局。國(guó)際數(shù)據(jù)公司（IDC）的研究報(bào)告稱，（2的70次方），并預(yù)測(cè)到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量。舉例而言，在一個(gè)連續(xù)監(jiān)控三個(gè)小時(shí)的視頻中，能夠提供有效信息幫助刑偵人員破案的畫(huà)面可能只有三五秒。 “大數(shù)據(jù)”的發(fā)展階段每種技術(shù)都有自己的生命周期，Gartner曾經(jīng)指出新技術(shù)生命周期的5個(gè)階段，即技術(shù)萌芽期（technology trigger）、期望膨脹期（Peak of Inflated Expectations）、泡沫化的谷底期 （Through of Disillusionment）、穩(wěn)步爬升的光明期 （Slope of Enlightement），最后才能進(jìn)入成熟使用期 （Plateau of Productivity）。以大數(shù)據(jù)為結(jié)點(diǎn)，各項(xiàng)新一代信息技術(shù)應(yīng)用產(chǎn)生的信息將不斷匯集，并通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗(yàn)，并創(chuàng)造出巨大的商業(yè)價(jià)值、經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。在軟件與服務(wù)領(lǐng)域，因?yàn)榇髷?shù)據(jù)中蘊(yùn)含的巨大價(jià)值，帶來(lái)對(duì)數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場(chǎng)的空前繁榮。真正能夠利用好大數(shù)據(jù)、并將其價(jià)值轉(zhuǎn)化成生產(chǎn)力的企業(yè)必將具備強(qiáng)勁有力的競(jìng)爭(zhēng)優(yōu)勢(shì)，從而成為行業(yè)的領(lǐng)導(dǎo)者。第一是客戶關(guān)系管理的創(chuàng)新，通過(guò)大數(shù)據(jù)分析可以根據(jù)客戶的屬性，從不同角度深層次分析客戶、了解客戶，推出新的客戶關(guān)系管理平臺(tái)，以增加新的客戶，提高客戶的忠誠(chéng)度，降低客戶流失率。第三是個(gè)性化精準(zhǔn)推薦。如，在大數(shù)據(jù)的幫助下，什么時(shí)間段、哪條路擁堵等問(wèn)題，都可以通過(guò)分析得知，通過(guò)同一條路上多個(gè)用戶的手機(jī)位移速度，便可以判斷當(dāng)時(shí)的路況，為擁堵做出準(zhǔn)確預(yù)警。“大數(shù)據(jù)”的采集和預(yù)處理在數(shù)據(jù)分析界有著一個(gè)“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時(shí)間都花在搜集和準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時(shí)間花在分析本身上。下面就物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)這兩個(gè)“大數(shù)據(jù)”的新型來(lái)源進(jìn)行簡(jiǎn)單的介紹。這些不同類型的傳感器，無(wú)時(shí)無(wú)刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來(lái)源之一。社交網(wǎng)絡(luò)使得互聯(lián)網(wǎng)甚至具備某些人類的特質(zhì)，譬如“情緒”：人們分享各自的喜怒哀樂(lè)，并相互傳染傳播。其中海量存儲(chǔ)包含數(shù)據(jù)容量和數(shù)據(jù)文件量?jī)蓚€(gè)方面，為保障系統(tǒng)存儲(chǔ)容量能夠以較低成本存儲(chǔ)海量數(shù)據(jù)并能實(shí)現(xiàn)快速平滑擴(kuò)展，分布式存儲(chǔ)和存儲(chǔ)虛擬化技術(shù)被廣泛采用；為更好的對(duì)系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開(kāi)的對(duì)象存儲(chǔ)架構(gòu)應(yīng)用廣泛。一些大型網(wǎng)站將 “數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費(fèi)高昂的費(fèi)用來(lái)保管這些數(shù)據(jù)，以便加快用戶的訪問(wèn)速度。（2） 數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)?！按髷?shù)據(jù)”與云計(jì)算對(duì)于許多組織來(lái)說(shuō)，“大數(shù)據(jù)”對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前的存儲(chǔ)能力。云計(jì)算的出現(xiàn)改變了數(shù)據(jù)的存儲(chǔ)和訪問(wèn)方式，在云計(jì)算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個(gè)人的個(gè)人計(jì)算機(jī)中、每家企業(yè)的服務(wù)器中。這樣的低成本硬件+低成本軟件+低成本運(yùn)維，更加經(jīng)濟(jì)和實(shí)用，也使得“大數(shù)據(jù)”處理和利用成為可能。咨詢機(jī)構(gòu)麥肯錫最早提出“大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)”，在2012年發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)領(lǐng)域》文章上表明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門(mén)，“大數(shù)據(jù)”可以加快產(chǎn)業(yè)規(guī)模的增長(zhǎng)速度，降低生產(chǎn)運(yùn)營(yíng)成本；對(duì)于企業(yè)而言，采用“大數(shù)據(jù)”可以提升企業(yè)的競(jìng)爭(zhēng)力，改善企業(yè)的營(yíng)銷(xiāo)規(guī)劃，客戶定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風(fēng)險(xiǎn)控制等多方面的能力。對(duì)于行業(yè)企業(yè)，“大數(shù)據(jù)”可以應(yīng)用到產(chǎn)品研發(fā)設(shè)計(jì)、生產(chǎn)運(yùn)作管理、供應(yīng)鏈管理、客戶關(guān)系管理、企業(yè)品牌營(yíng)銷(xiāo)等各個(gè)環(huán)節(jié)，能夠幫助企業(yè)準(zhǔn)確把握市場(chǎng)需求變動(dòng)、提高產(chǎn)品設(shè)計(jì)與生產(chǎn)效率、提高供應(yīng)鏈的敏捷性和準(zhǔn)確性、實(shí)現(xiàn)個(gè)性化精準(zhǔn)營(yíng)銷(xiāo)，同時(shí)也促進(jìn)IT技術(shù)的創(chuàng)新。這種認(rèn)知可以是宏觀的，也可以是微觀的。如基于twitter等網(wǎng)上公開(kāi)數(shù)據(jù)的實(shí)時(shí)感知、動(dòng)態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測(cè)大選結(jié)果；聯(lián)合國(guó)“全球脈動(dòng)”利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測(cè)失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化的早起預(yù)警信號(hào)來(lái)提前指導(dǎo)援助項(xiàng)目，以免某個(gè)脫貧地區(qū)重新陷入貧困。在IT