【正文】 隸，不要成為Matrix的營(yíng)養(yǎng)品。大數(shù)據(jù)企業(yè)應(yīng)該在其公司的章程和文件中體現(xiàn)對(duì)個(gè)人隱私數(shù)據(jù)的保護(hù)，堅(jiān)持遵守全球隱私保護(hù)7條原則；1)知曉權(quán)（透明性）：應(yīng)該通知本人關(guān)于所收集信息的目的2)選擇權(quán)：提供機(jī)會(huì)選擇或放棄所提供的個(gè)人信息是否被使用或如何被使用3)同意權(quán)：再符合知曉權(quán)和選擇權(quán)的情況下才可以向第三方透露個(gè)人數(shù)據(jù)信息4)安全權(quán)：采取負(fù)責(zé)的措施保護(hù)個(gè)人信息免受丟失、濫用、未授權(quán)獲取、泄露、篡改、毀壞的威脅5)數(shù)據(jù)完整性：確保個(gè)人信息在最終用途、合理防護(hù)方面的可靠性，確保信息精確、完整、無(wú)誤。由于目前大數(shù)據(jù)產(chǎn)業(yè)的商業(yè)模式和盈利模式還在探索之中，大數(shù)據(jù)帶來(lái)的直接收益還沒(méi)有明確，目前主要的商業(yè)形式還是大數(shù)企業(yè)自身的大數(shù)據(jù)應(yīng)用（例如，大數(shù)據(jù)計(jì)算平臺(tái)，大數(shù)據(jù)采集和分析，數(shù)據(jù)分析報(bào)告），行業(yè)應(yīng)用處于一個(gè)探索的階段，在大數(shù)據(jù)較為集中的電信行業(yè)，并沒(méi)有成立數(shù)據(jù)事業(yè)部，數(shù)據(jù)被當(dāng)作資產(chǎn)良好的保存起來(lái)，國(guó)外的大數(shù)據(jù)投資`在2005年就開(kāi)始了，很多高科技企業(yè)已經(jīng)大數(shù)產(chǎn)業(yè)鏈上投入巨資進(jìn)行技術(shù)開(kāi)發(fā)和行業(yè)應(yīng)用。數(shù)據(jù)的存儲(chǔ)主要是指利用何種方式進(jìn)行數(shù)據(jù)存貯，對(duì)于中小企業(yè)，云存儲(chǔ)是以個(gè)不錯(cuò)的原則，對(duì)于金融行業(yè)和其他對(duì)數(shù)據(jù)保有權(quán)較為重視的企業(yè)，私有云將是一個(gè)不錯(cuò)的選擇。國(guó)內(nèi)的互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)應(yīng)用和研發(fā)方面處于較好的水平例如淘寶、百度、騰訊、新浪等。主流的大數(shù)據(jù)廠商分為大數(shù)據(jù)分析基礎(chǔ)設(shè)施，大數(shù)據(jù)操作基礎(chǔ)設(shè)施，大數(shù)據(jù)基礎(chǔ)云服務(wù)，傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫(kù)，商業(yè)智能，可視化領(lǐng)域等，下面將一一介紹。Hadoop主要特點(diǎn)是，運(yùn)行在標(biāo)準(zhǔn)硬件之上的Hadoop可以以傳統(tǒng)解決方案1/10的成本從海量的數(shù)分析分析復(fù)雜問(wèn)題，可以勝任收搜索系統(tǒng)、登錄系統(tǒng)、推薦系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、語(yǔ)音/圖像分析等。社交媒體和朋友圈正成為追蹤人們社會(huì)行為的平臺(tái)，正能量的東西有，負(fù)能量的東西也不少。5）宏觀調(diào)控和財(cái)政支出政府利用大數(shù)據(jù)技術(shù)可以了解各地區(qū)的經(jīng)濟(jì)發(fā)展情況，各產(chǎn)業(yè)發(fā)展情況，消費(fèi)支出和產(chǎn)品銷售情況，依據(jù)數(shù)據(jù)分析結(jié)果，科學(xué)地制定宏觀政策，平衡各產(chǎn)業(yè)發(fā)展，避免產(chǎn)能過(guò)剩，有效利用自然資源和社會(huì)資源，提高社會(huì)生產(chǎn)效率。在數(shù)據(jù)驅(qū)動(dòng)下，結(jié)合無(wú)人機(jī)技術(shù)，農(nóng)民可以采集農(nóng)產(chǎn)品生長(zhǎng)信息，病蟲(chóng)害信息。2）天氣預(yù)報(bào)借助于大數(shù)據(jù)技術(shù)，天氣預(yù)報(bào)的準(zhǔn)確性和實(shí)效性將會(huì)大大提高，預(yù)報(bào)的及時(shí)性將會(huì)大大提升，同時(shí)對(duì)于重大自然災(zāi)害，例如龍卷風(fēng)，通過(guò)大數(shù)據(jù)計(jì)算平臺(tái)，人們將會(huì)更加精確地了解其運(yùn)動(dòng)軌跡和危害的等級(jí)，有利于幫助人們提高應(yīng)對(duì)自然災(zāi)害的能力。依托于大數(shù)據(jù)和大數(shù)據(jù)技術(shù)，政府可以及時(shí)得到更加準(zhǔn)確信息，利用這些信息，政府可以更加高效的管理國(guó)家這部機(jī)器，實(shí)現(xiàn)精細(xì)化資源配置和宏觀調(diào)控。同時(shí)大數(shù)據(jù)的分析將會(huì)更見(jiàn)精確預(yù)測(cè)未來(lái)的天氣氣候，幫助農(nóng)牧民做好自然災(zāi)害的預(yù)防工作。另外零售行業(yè)可以通過(guò)大數(shù)據(jù)掌握未來(lái)消費(fèi)趨勢(shì)，有利于熱銷商品的進(jìn)貨管理和過(guò)季商品的處理。2）生物技術(shù)主要是指大數(shù)據(jù)技術(shù)在基因分析上的應(yīng)用，通過(guò)大數(shù)據(jù)平臺(tái)人類可以將自身和生物體基因分析的結(jié)果進(jìn)行記錄和存儲(chǔ)，利用建立基于大數(shù)據(jù)技術(shù)的基因數(shù)據(jù)庫(kù)。在未來(lái)，借助于大數(shù)據(jù)平臺(tái)我們可以收集不同病例和治療方案，以及病人的基本特征，可以建立針對(duì)疾病特點(diǎn)的數(shù)據(jù)庫(kù)。各國(guó)政府和企業(yè)將借助于大數(shù)據(jù)來(lái)了解民眾需求，拋棄過(guò)去的經(jīng)驗(yàn)思維和慣性思維，掌握客觀規(guī)律，跳出歷史預(yù)測(cè)未來(lái)的困境。利用大數(shù)據(jù)提供的分析結(jié)果來(lái)歸納和演繹出事物的發(fā)展規(guī)律，通過(guò)掌握事物發(fā)展規(guī)律來(lái)幫助人們進(jìn)行科學(xué)決策，大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷就是典型的應(yīng)用。我們都知道效率提升是人類社會(huì)進(jìn)步的典型標(biāo)志，可以推斷大數(shù)據(jù)技術(shù)將帶領(lǐng)人類社會(huì)進(jìn)入另外一個(gè)階段。6）傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后，用戶的搜索行為和提問(wèn)行為聚集了海量數(shù)據(jù)。舉個(gè)例子Facebook每天有18億張照片上傳或被傳播，形成了海量的數(shù)據(jù)。大數(shù)據(jù)時(shí)代的出現(xiàn)簡(jiǎn)單的講是海量數(shù)據(jù)同完美計(jì)算能力結(jié)合的結(jié)果。3）電子地圖如高德、百度、Google地圖出現(xiàn)后，其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù)，這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)代表一個(gè)屬性或一個(gè)度量值，但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習(xí)慣，這些流數(shù)據(jù)經(jīng)頻率分析后會(huì)產(chǎn)生巨大的商業(yè)價(jià)值。大數(shù)據(jù)更接近于某個(gè)群體行為數(shù)據(jù)，它是全面的數(shù)據(jù)、準(zhǔn)確的數(shù)據(jù)、有價(jià)值的數(shù)據(jù)。2）大數(shù)據(jù)通過(guò)全局的數(shù)據(jù)讓人類了解事物背后的真相相對(duì)于過(guò)去的樣本代替全體的統(tǒng)計(jì)方法，大數(shù)據(jù)將使用全局的數(shù)據(jù)，其統(tǒng)計(jì)出來(lái)的結(jié)果更為精確，更接事物真相，幫助科學(xué)家了解事物背后的真相。大數(shù)據(jù)技術(shù)連接了人類行為，通過(guò)大數(shù)據(jù)將人類的行為數(shù)據(jù)收集起來(lái)，經(jīng)過(guò)一定的分析后來(lái)統(tǒng)計(jì)人類行為，幫助我們了解人類的行為。大數(shù)據(jù)的應(yīng)用可以分為企業(yè)應(yīng)用和政府應(yīng)用，其關(guān)注點(diǎn)有所不同，我們分開(kāi)介紹，先從大數(shù)據(jù)在企業(yè)應(yīng)用開(kāi)始談起。在制定治療方案時(shí)，醫(yī)生可以依據(jù)病人的基因特點(diǎn)，調(diào)取相似基因、年齡、人種、身體情況相同的有效治療方案，制定出適合病人的治療方案，幫助更多人及時(shí)進(jìn)行治療。未來(lái)利用生物基因技術(shù)來(lái)改良農(nóng)作物，利用基因技術(shù)來(lái)培養(yǎng)人類器官，利用基因技術(shù)來(lái)消滅害蟲(chóng)都即將實(shí)現(xiàn)。馬云的菜鳥(niǎo)網(wǎng)絡(luò)宣稱的24小時(shí)完成在中國(guó)境內(nèi)的送貨，以及京的劉強(qiáng)東宣傳未來(lái)京東將在15分鐘完成送貨上門都是基于客戶消費(fèi)習(xí)慣的大數(shù)據(jù)分析和預(yù)測(cè)。漁民可以利用大數(shù)據(jù)安排休漁期、定位捕魚(yú)范圍等?？茖W(xué)的安排信號(hào)燈是一個(gè)復(fù)雜的系統(tǒng)工程，必須利用大數(shù)據(jù)計(jì)算平臺(tái)才能計(jì)算出一個(gè)較為合理的方案。如果沒(méi)有規(guī)劃好，容易產(chǎn)生菜賤傷農(nóng)的悲劇。最近幾年外國(guó)旅游者減少了到中國(guó)旅游，進(jìn)口食品大幅度增加，食品安全問(wèn)題是其中的一個(gè)重要原因。大數(shù)據(jù)及大數(shù)據(jù)技術(shù)帶給政府的不僅僅是效率提升、科學(xué)決策、精細(xì)管理，更重要的是數(shù)據(jù)治國(guó)、科學(xué)管理的意識(shí)改變，未來(lái)大數(shù)據(jù)將會(huì)從各個(gè)方面來(lái)幫助政府實(shí)施高效和精細(xì)化管理。最近警方通過(guò)微搏信息抓獲了聚眾吸毒的人，處罰了虐待小孩的家長(zhǎng)。HDFS和MapReduece是其兩個(gè)關(guān)鍵要素。7)分析和可視化應(yīng)用主要產(chǎn)品有SAS,TeraDataAster,EMCGreenplum,TableauSoftware,Tibco等。具體的解決方案請(qǐng)參考趙剛老師的書(shū)《大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南》五、大數(shù)據(jù)產(chǎn)業(yè)鏈介紹由于大數(shù)據(jù)及大數(shù)據(jù)技術(shù)是一個(gè)工具，無(wú)法像互聯(lián)網(wǎng)企業(yè)那樣形成一個(gè)大數(shù)據(jù)生態(tài)圈，形成閉環(huán)。EMC、NetAPP、日立的NAS存儲(chǔ)可以考慮。過(guò)度強(qiáng)調(diào)大數(shù)據(jù)的商業(yè)應(yīng)用而忽視了大數(shù)據(jù)產(chǎn)業(yè)的隱私保護(hù)，將會(huì)產(chǎn)生災(zāi)難性的后果，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展可能會(huì)因此被禁止。公開(kāi)數(shù)據(jù)來(lái)源于公共媒體因此可以無(wú)須強(qiáng)調(diào)保護(hù)，授權(quán)數(shù)據(jù)來(lái)源于數(shù)據(jù)收集過(guò)程中，客戶對(duì)企業(yè)的授權(quán)，需要依據(jù)簽訂的協(xié)議使用范圍來(lái)使用，不能過(guò)越權(quán)進(jìn)行數(shù)據(jù)轉(zhuǎn)讓和販賣，大數(shù)據(jù)企業(yè)僅能在簽署的授權(quán)范圍內(nèi)部進(jìn)行使用，企業(yè)在使用大數(shù)據(jù)時(shí)盡量使用分類數(shù)據(jù)、群體數(shù)據(jù)、趨勢(shì)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)。我們聊一聊如何控制大數(shù)據(jù)帶來(lái)的風(fēng)險(xiǎn)。因此大數(shù)據(jù)僅是工具，其不能代替人類自身對(duì)社會(huì)的理解，以及人類社會(huì)自身的道德約束等。但是在中國(guó)大數(shù)據(jù)國(guó)家戰(zhàn)略和大數(shù)據(jù)產(chǎn)業(yè)發(fā)展發(fā)面還沒(méi)有一個(gè)清晰的藍(lán)圖。2013年IBM就成功的申請(qǐng)了1500項(xiàng)大數(shù)據(jù)與分析的相關(guān)專利，自2005年開(kāi)始對(duì)收購(gòu)和研發(fā)投資達(dá)240億美元，2013年IBM大數(shù)據(jù)分析領(lǐng)域營(yíng)收高達(dá)160億美金。2014年Top10大數(shù)據(jù)初創(chuàng)公司深度剖析P迪 該研究公司預(yù)計(jì)。他們做什么：Platfora主要為企業(yè)提供相關(guān)的大數(shù)據(jù)解決方案，并且將Hadoop的袁術(shù)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，為企業(yè)提供更智能的商業(yè)指導(dǎo)。并且花旗風(fēng)險(xiǎn)投資公司，思科，Allegis資本，安德森霍洛維茨，Battery Ventures公司，薩特山風(fēng)險(xiǎn)投資公司等多家知名風(fēng)投參與了本輪融資。Alpine Data Labs相反，他們希望看到大畫(huà)面。所有這一切都是在Web瀏覽器中完成，和阿爾卑斯數(shù)據(jù)然后轉(zhuǎn)換這些可視化的工作流為在數(shù)據(jù)庫(kù)或MapReduce的任務(wù)序列。提供Hadoop平臺(tái)與服務(wù)的企業(yè)Altiscale上榜原因：Altiscale的服務(wù)的目的是Hadoop的抽象的復(fù)雜性。TrifactaTrifacta有一個(gè)在數(shù)據(jù)鏈技術(shù)平臺(tái)。Trifacta將與Paxata，Informatica和CirroHow競(jìng)爭(zhēng)。后來(lái)，他創(chuàng)辦并擔(dān)任藍(lán)尼軟件公司首席執(zhí)行官。通過(guò)利用分布式計(jì)算，Splice Machine可以通過(guò)簡(jiǎn)單地增加更多的商品服務(wù)器從TB級(jí)到PB級(jí)規(guī)模。成立時(shí)間：不同于傳統(tǒng)的批量處理，可以采取小時(shí)，DataTorrent聲稱能夠數(shù)億每秒的數(shù)據(jù)項(xiàng)的執(zhí)行。他們做了什么：提供大數(shù)據(jù)作為一種服務(wù)有一個(gè)“真正的自動(dòng)縮放Hadoop集群。客戶包括：Pinterest，MediaMath，Saavn?？偛浚号谅灏柾?，加利福尼亞州負(fù)責(zé)人：?jiǎn)碳{森該公司的旗艦產(chǎn)品，電抗器，是一個(gè)基于Java的集成數(shù)據(jù)和應(yīng)用程序框架層在Apache Hadoop，HBase的，和其他的Hadoop生態(tài)系統(tǒng)組成部分的頂部。他們所做的事情：提供HaaS。因此，對(duì)于數(shù)據(jù)分析，學(xué)習(xí)曲線應(yīng)該是最小的。他們所做的事情：提供大數(shù)據(jù)分析應(yīng)用。 nBAAP是基于三個(gè)關(guān)鍵大數(shù)據(jù)技術(shù)： Hadoop的(數(shù)據(jù)處理) ， R(預(yù)測(cè)分析) ，和的Tableau (可視化) 。31 / 31