【正文】 三個維度是決定數(shù)據(jù)是否有價值的關(guān)鍵。 三是數(shù)據(jù)價值密度低（Value）?！按髷?shù)據(jù)”的特征“大數(shù)據(jù)”具有4V的特點(diǎn)：一是數(shù)據(jù)容量巨大（Volume）。2012年3月，美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展計劃》，同時組建大數(shù)據(jù)高級指導(dǎo)小組，以協(xié)調(diào)政府在數(shù)據(jù)領(lǐng)域的兩億多美元投資。伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁的索引庫，開始提供較為精確的搜索服務(wù)，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點(diǎn)?！按髷?shù)據(jù)”的要義是盡可能地收集眾多可以相互疊加補(bǔ)充的信息，據(jù)以完成對“未來”的預(yù)測?！按髷?shù)據(jù)”的認(rèn)識與思考 劉姝祎目錄1“大數(shù)據(jù)”的時代背景 4“大數(shù)據(jù)”的概念 4“大數(shù)據(jù)”產(chǎn)生的背景 4“大數(shù)據(jù)”的特征 5“大數(shù)據(jù)”的發(fā)展階段 5“大數(shù)據(jù)”帶來的機(jī)遇 62“大數(shù)據(jù)”的關(guān)鍵技術(shù) 9“大數(shù)據(jù)”的采集和預(yù)處理 9“大數(shù)據(jù)”存儲技術(shù) 10“大數(shù)據(jù)”分析技術(shù) 10“大數(shù)據(jù)”與云計算 113大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用 12 12“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用 13：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14 14 15 164問題與挑戰(zhàn) 18 18 18 18 18 19 19 195對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 20 20 21 221“大數(shù)據(jù)”的時代背景“大數(shù)據(jù)”的概念紐約時報在2012年宣布“大數(shù)據(jù)時代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時下最火熱的詞匯。這些數(shù)據(jù)可能有些混亂，甚至?xí)霈F(xiàn)紕漏，但數(shù)據(jù)量的“多“和時間的“即刻”可以彌補(bǔ)數(shù)據(jù)質(zhì)量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預(yù)測”出最“可靠”的答案，指引人們迅速采取行動。當(dāng)時搜索引擎要存儲和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無法應(yīng)對。這啟發(fā)全社會開始重新審視數(shù)據(jù)的巨大價值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開始嘗試這種新的理念和技術(shù)，取得初步成效。根據(jù)這一計劃，美國希望利用大數(shù)據(jù)技術(shù)再多個領(lǐng)域?qū)崿F(xiàn)突破，包括科研教學(xué)、環(huán)境保護(hù)、國土安全等，此舉標(biāo)志著，美國把應(yīng)對大數(shù)據(jù)技術(shù)革命帶來的機(jī)遇和挑戰(zhàn)，提高到國家戰(zhàn)略層面，形成了全體動員格局。國際數(shù)據(jù)公司（IDC）的研究報告稱，（2的70次方），并預(yù)測到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量。舉例而言，在一個連續(xù)監(jiān)控三個小時的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。 “大數(shù)據(jù)”的發(fā)展階段每種技術(shù)都有自己的生命周期，Gartner曾經(jīng)指出新技術(shù)生命周期的5個階段，即技術(shù)萌芽期（technology trigger）、期望膨脹期（Peak of Inflated Expectations）、泡沫化的谷底期 （Through of Disillusionment）、穩(wěn)步爬升的光明期 （Slope of Enlightement），最后才能進(jìn)入成熟使用期 （Plateau of Productivity）。以大數(shù)據(jù)為結(jié)點(diǎn)，各項新一代信息技術(shù)應(yīng)用產(chǎn)生的信息將不斷匯集，并通過對不同來源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗，并創(chuàng)造出巨大的商業(yè)價值、經(jīng)濟(jì)價值和社會價值。在軟件與服務(wù)領(lǐng)域，因為大數(shù)據(jù)中蘊(yùn)含的巨大價值，帶來對數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場的空前繁榮。真正能夠利用好大數(shù)據(jù)、并將其價值轉(zhuǎn)化成生產(chǎn)力的企業(yè)必將具備強(qiáng)勁有力的競爭優(yōu)勢，從而成為行業(yè)的領(lǐng)導(dǎo)者。第一是客戶關(guān)系管理的創(chuàng)新，通過大數(shù)據(jù)分析可以根據(jù)客戶的屬性，從不同角度深層次分析客戶、了解客戶，推出新的客戶關(guān)系管理平臺，以增加新的客戶，提高客戶的忠誠度，降低客戶流失率。第三是個性化精準(zhǔn)推薦。如，在大數(shù)據(jù)的幫助下，什么時間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個用戶的手機(jī)位移速度，便可以判斷當(dāng)時的路況，為擁堵做出準(zhǔn)確預(yù)警?！按髷?shù)據(jù)”的采集和預(yù)處理在數(shù)據(jù)分析界有著一個“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時間都花在搜集和準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時間花在分析本身上。下面就物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)這兩個“大數(shù)據(jù)”的新型來源進(jìn)行簡單的介紹。這些不同類型的傳感器，無時無刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來源之一。社交網(wǎng)絡(luò)使得互聯(lián)網(wǎng)甚至具備某些人類的特質(zhì)，譬如“情緒”：人們分享各自的喜怒哀樂，并相互傳染傳播。其中海量存儲包含數(shù)據(jù)容量和數(shù)據(jù)文件量兩個方面，為保障系統(tǒng)存儲容量能夠以較低成本存儲海量數(shù)據(jù)并能實(shí)現(xiàn)快速平滑擴(kuò)展，分布式存儲和存儲虛擬化技術(shù)被廣泛采用；為更好的對系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開的對象存儲架構(gòu)應(yīng)用廣泛。一些大型網(wǎng)站將 “數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費(fèi)高昂的費(fèi)用來保管這些數(shù)據(jù)，以便加快用戶的訪問速度。（2） 數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)。“大數(shù)據(jù)”與云計算對于許多組織來說，“大數(shù)據(jù)”對存儲容量的需求已經(jīng)超出目前的存儲能力。云計算的出現(xiàn)改變了數(shù)據(jù)的存儲和訪問方式，在云計算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個人的個人計算機(jī)中、每家企業(yè)的服務(wù)器中。這樣的低成本硬件+低成本軟件+低成本運(yùn)維，更加經(jīng)濟(jì)和實(shí)用，也使得“大數(shù)據(jù)”處理和利用成為可能。咨詢機(jī)構(gòu)麥肯錫最早提出“大數(shù)據(jù)時代已經(jīng)到來”，在2012年發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個領(lǐng)域》文章上表明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門，“大數(shù)據(jù)”可以加快產(chǎn)業(yè)規(guī)模的增長速度，降低生產(chǎn)運(yùn)營成本；對于企業(yè)而言，采用“大數(shù)據(jù)”可以提升企業(yè)的競爭力，改善企業(yè)的營銷規(guī)劃，客戶定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風(fēng)險控制等多方面的能力。對于行業(yè)企業(yè)，“大數(shù)據(jù)”可以應(yīng)用到產(chǎn)品研發(fā)設(shè)計、生產(chǎn)運(yùn)作管理、供應(yīng)鏈管理、客戶關(guān)系管理、企業(yè)品牌營銷等各個環(huán)節(jié)，能夠幫助企業(yè)準(zhǔn)確把握市場需求變動、提高產(chǎn)品設(shè)計與生產(chǎn)效率、提高供應(yīng)鏈的敏捷性和準(zhǔn)確性、實(shí)現(xiàn)個性化精準(zhǔn)營銷，同時也促進(jìn)IT技術(shù)的創(chuàng)新。這種認(rèn)知可以是宏觀的，也可以是微觀的。如基于twitter等網(wǎng)上公開數(shù)據(jù)的實(shí)時感知、動態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測大選結(jié)果；聯(lián)合國“全球脈動”利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化的早起預(yù)警信號來提前指導(dǎo)援助項目，以免某個脫貧地區(qū)重新陷入貧困。在IT