【正文】 隸，不要成為Matrix的營養(yǎng)品。大數(shù)據(jù)企業(yè)應該在其公司的章程和文件中體現(xiàn)對個人隱私數(shù)據(jù)的保護，堅持遵守全球隱私保護7條原則；1)知曉權(quán)（透明性）：應該通知本人關(guān)于所收集信息的目的2)選擇權(quán)：提供機會選擇或放棄所提供的個人信息是否被使用或如何被使用3)同意權(quán)：再符合知曉權(quán)和選擇權(quán)的情況下才可以向第三方透露個人數(shù)據(jù)信息4)安全權(quán)：采取負責的措施保護個人信息免受丟失、濫用、未授權(quán)獲取、泄露、篡改、毀壞的威脅5)數(shù)據(jù)完整性：確保個人信息在最終用途、合理防護方面的可靠性，確保信息精確、完整、無誤。由于目前大數(shù)據(jù)產(chǎn)業(yè)的商業(yè)模式和盈利模式還在探索之中，大數(shù)據(jù)帶來的直接收益還沒有明確，目前主要的商業(yè)形式還是大數(shù)企業(yè)自身的大數(shù)據(jù)應用（例如，大數(shù)據(jù)計算平臺，大數(shù)據(jù)采集和分析，數(shù)據(jù)分析報告），行業(yè)應用處于一個探索的階段，在大數(shù)據(jù)較為集中的電信行業(yè)，并沒有成立數(shù)據(jù)事業(yè)部，數(shù)據(jù)被當作資產(chǎn)良好的保存起來，國外的大數(shù)據(jù)投資`在2005年就開始了，很多高科技企業(yè)已經(jīng)大數(shù)產(chǎn)業(yè)鏈上投入巨資進行技術(shù)開發(fā)和行業(yè)應用。數(shù)據(jù)的存儲主要是指利用何種方式進行數(shù)據(jù)存貯，對于中小企業(yè)，云存儲是以個不錯的原則，對于金融行業(yè)和其他對數(shù)據(jù)保有權(quán)較為重視的企業(yè)，私有云將是一個不錯的選擇。國內(nèi)的互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)應用和研發(fā)方面處于較好的水平例如淘寶、百度、騰訊、新浪等。主流的大數(shù)據(jù)廠商分為大數(shù)據(jù)分析基礎設施，大數(shù)據(jù)操作基礎設施，大數(shù)據(jù)基礎云服務，傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫，商業(yè)智能，可視化領(lǐng)域等，下面將一一介紹。Hadoop主要特點是，運行在標準硬件之上的Hadoop可以以傳統(tǒng)解決方案1/10的成本從海量的數(shù)分析分析復雜問題，可以勝任收搜索系統(tǒng)、登錄系統(tǒng)、推薦系統(tǒng)、數(shù)據(jù)倉庫、語音/圖像分析等。社交媒體和朋友圈正成為追蹤人們社會行為的平臺，正能量的東西有，負能量的東西也不少。5）宏觀調(diào)控和財政支出政府利用大數(shù)據(jù)技術(shù)可以了解各地區(qū)的經(jīng)濟發(fā)展情況，各產(chǎn)業(yè)發(fā)展情況，消費支出和產(chǎn)品銷售情況，依據(jù)數(shù)據(jù)分析結(jié)果，科學地制定宏觀政策，平衡各產(chǎn)業(yè)發(fā)展，避免產(chǎn)能過剩，有效利用自然資源和社會資源，提高社會生產(chǎn)效率。在數(shù)據(jù)驅(qū)動下，結(jié)合無人機技術(shù)，農(nóng)民可以采集農(nóng)產(chǎn)品生長信息，病蟲害信息。2）天氣預報借助于大數(shù)據(jù)技術(shù)，天氣預報的準確性和實效性將會大大提高，預報的及時性將會大大提升，同時對于重大自然災害，例如龍卷風，通過大數(shù)據(jù)計算平臺，人們將會更加精確地了解其運動軌跡和危害的等級，有利于幫助人們提高應對自然災害的能力。依托于大數(shù)據(jù)和大數(shù)據(jù)技術(shù)，政府可以及時得到更加準確信息，利用這些信息，政府可以更加高效的管理國家這部機器，實現(xiàn)精細化資源配置和宏觀調(diào)控。同時大數(shù)據(jù)的分析將會更見精確預測未來的天氣氣候，幫助農(nóng)牧民做好自然災害的預防工作。另外零售行業(yè)可以通過大數(shù)據(jù)掌握未來消費趨勢，有利于熱銷商品的進貨管理和過季商品的處理。2）生物技術(shù)主要是指大數(shù)據(jù)技術(shù)在基因分析上的應用，通過大數(shù)據(jù)平臺人類可以將自身和生物體基因分析的結(jié)果進行記錄和存儲，利用建立基于大數(shù)據(jù)技術(shù)的基因數(shù)據(jù)庫。在未來，借助于大數(shù)據(jù)平臺我們可以收集不同病例和治療方案，以及病人的基本特征，可以建立針對疾病特點的數(shù)據(jù)庫。各國政府和企業(yè)將借助于大數(shù)據(jù)來了解民眾需求，拋棄過去的經(jīng)驗思維和慣性思維，掌握客觀規(guī)律，跳出歷史預測未來的困境。利用大數(shù)據(jù)提供的分析結(jié)果來歸納和演繹出事物的發(fā)展規(guī)律，通過掌握事物發(fā)展規(guī)律來幫助人們進行科學決策，大數(shù)據(jù)時代的精準營銷就是典型的應用。我們都知道效率提升是人類社會進步的典型標志，可以推斷大數(shù)據(jù)技術(shù)將帶領(lǐng)人類社會進入另外一個階段。6）傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后，用戶的搜索行為和提問行為聚集了海量數(shù)據(jù)。舉個例子Facebook每天有18億張照片上傳或被傳播，形成了海量的數(shù)據(jù)。大數(shù)據(jù)時代的出現(xiàn)簡單的講是海量數(shù)據(jù)同完美計算能力結(jié)合的結(jié)果。3）電子地圖如高德、百度、Google地圖出現(xiàn)后，其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù)，這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)代表一個屬性或一個度量值，但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習慣，這些流數(shù)據(jù)經(jīng)頻率分析后會產(chǎn)生巨大的商業(yè)價值。大數(shù)據(jù)更接近于某個群體行為數(shù)據(jù)，它是全面的數(shù)據(jù)、準確的數(shù)據(jù)、有價值的數(shù)據(jù)。2）大數(shù)據(jù)通過全局的數(shù)據(jù)讓人類了解事物背后的真相相對于過去的樣本代替全體的統(tǒng)計方法，大數(shù)據(jù)將使用全局的數(shù)據(jù)，其統(tǒng)計出來的結(jié)果更為精確，更接事物真相，幫助科學家了解事物背后的真相。大數(shù)據(jù)技術(shù)連接了人類行為，通過大數(shù)據(jù)將人類的行為數(shù)據(jù)收集起來，經(jīng)過一定的分析后來統(tǒng)計人類行為，幫助我們了解人類的行為。大數(shù)據(jù)的應用可以分為企業(yè)應用和政府應用，其關(guān)注點有所不同，我們分開介紹，先從大數(shù)據(jù)在企業(yè)應用開始談起。在制定治療方案時，醫(yī)生可以依據(jù)病人的基因特點，調(diào)取相似基因、年齡、人種、身體情況相同的有效治療方案，制定出適合病人的治療方案，幫助更多人及時進行治療。未來利用生物基因技術(shù)來改良農(nóng)作物，利用基因技術(shù)來培養(yǎng)人類器官，利用基因技術(shù)來消滅害蟲都即將實現(xiàn)。馬云的菜鳥網(wǎng)絡宣稱的24小時完成在中國境內(nèi)的送貨，以及京的劉強東宣傳未來京東將在15分鐘完成送貨上門都是基于客戶消費習慣的大數(shù)據(jù)分析和預測。漁民可以利用大數(shù)據(jù)安排休漁期、定位捕魚范圍等?？茖W的安排信號燈是一個復雜的系統(tǒng)工程，必須利用大數(shù)據(jù)計算平臺才能計算出一個較為合理的方案。如果沒有規(guī)劃好，容易產(chǎn)生菜賤傷農(nóng)的悲劇。最近幾年外國旅游者減少了到中國旅游，進口食品大幅度增加，食品安全問題是其中的一個重要原因。大數(shù)據(jù)及大數(shù)據(jù)技術(shù)帶給政府的不僅僅是效率提升、科學決策、精細管理，更重要的是數(shù)據(jù)治國、科學管理的意識改變，未來大數(shù)據(jù)將會從各個方面來幫助政府實施高效和精細化管理。最近警方通過微搏信息抓獲了聚眾吸毒的人，處罰了虐待小孩的家長。HDFS和MapReduece是其兩個關(guān)鍵要素。7)分析和可視化應用主要產(chǎn)品有SAS,TeraDataAster,EMCGreenplum,TableauSoftware,Tibco等。具體的解決方案請參考趙剛老師的書《大數(shù)據(jù)技術(shù)與應用實踐指南》五、大數(shù)據(jù)產(chǎn)業(yè)鏈介紹由于大數(shù)據(jù)及大數(shù)據(jù)技術(shù)是一個工具，無法像互聯(lián)網(wǎng)企業(yè)那樣形成一個大數(shù)據(jù)生態(tài)圈，形成閉環(huán)。EMC、NetAPP、日立的NAS存儲可以考慮。過度強調(diào)大數(shù)據(jù)的商業(yè)應用而忽視了大數(shù)據(jù)產(chǎn)業(yè)的隱私保護，將會產(chǎn)生災難性的后果，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展可能會因此被禁止。公開數(shù)據(jù)來源于公共媒體因此可以無須強調(diào)保護，授權(quán)數(shù)據(jù)來源于數(shù)據(jù)收集過程中，客戶對企業(yè)的授權(quán)，需要依據(jù)簽訂的協(xié)議使用范圍來使用，不能過越權(quán)進行數(shù)據(jù)轉(zhuǎn)讓和販賣，大數(shù)據(jù)企業(yè)僅能在簽署的授權(quán)范圍內(nèi)部進行使用，企業(yè)在使用大數(shù)據(jù)時盡量使用分類數(shù)據(jù)、群體數(shù)據(jù)、趨勢數(shù)據(jù)、統(tǒng)計數(shù)據(jù)。我們聊一聊如何控制大數(shù)據(jù)帶來的風險。因此大數(shù)據(jù)僅是工具，其不能代替人類自身對社會的理解，以及人類社會自身的道德約束等。但是在中國大數(shù)據(jù)國家戰(zhàn)略和大數(shù)據(jù)產(chǎn)業(yè)發(fā)展發(fā)面還沒有一個清晰的藍圖。2013年IBM就成功的申請了1500項大數(shù)據(jù)與分析的相關(guān)專利，自2005年開始對收購和研發(fā)投資達240億美元，2013年IBM大數(shù)據(jù)分析領(lǐng)域營收高達160億美金。2014年Top10大數(shù)據(jù)初創(chuàng)公司深度剖析P迪 該研究公司預計。他們做什么：Platfora主要為企業(yè)提供相關(guān)的大數(shù)據(jù)解決方案，并且將Hadoop的袁術(shù)數(shù)據(jù)進行轉(zhuǎn)換，為企業(yè)提供更智能的商業(yè)指導。并且花旗風險投資公司，思科，Allegis資本，安德森霍洛維茨，Battery Ventures公司，薩特山風險投資公司等多家知名風投參與了本輪融資。Alpine Data Labs相反，他們希望看到大畫面。所有這一切都是在Web瀏覽器中完成，和阿爾卑斯數(shù)據(jù)然后轉(zhuǎn)換這些可視化的工作流為在數(shù)據(jù)庫或MapReduce的任務序列。提供Hadoop平臺與服務的企業(yè)Altiscale上榜原因：Altiscale的服務的目的是Hadoop的抽象的復雜性。TrifactaTrifacta有一個在數(shù)據(jù)鏈技術(shù)平臺。Trifacta將與Paxata，Informatica和CirroHow競爭。后來，他創(chuàng)辦并擔任藍尼軟件公司首席執(zhí)行官。通過利用分布式計算，Splice Machine可以通過簡單地增加更多的商品服務器從TB級到PB級規(guī)模。成立時間：不同于傳統(tǒng)的批量處理，可以采取小時，DataTorrent聲稱能夠數(shù)億每秒的數(shù)據(jù)項的執(zhí)行。他們做了什么：提供大數(shù)據(jù)作為一種服務有一個“真正的自動縮放Hadoop集群?？蛻舭ǎ篜interest，MediaMath，Saavn?？偛浚号谅灏柾?，加利福尼亞州負責人：喬納森該公司的旗艦產(chǎn)品，電抗器，是一個基于Java的集成數(shù)據(jù)和應用程序框架層在Apache Hadoop，HBase的，和其他的Hadoop生態(tài)系統(tǒng)組成部分的頂部。他們所做的事情：提供HaaS。因此，對于數(shù)據(jù)分析，學習曲線應該是最小的。他們所做的事情：提供大數(shù)據(jù)分析應用。 nBAAP是基于三個關(guān)鍵大數(shù)據(jù)技術(shù)： Hadoop的(數(shù)據(jù)處理) ， R(預測分析) ，和的Tableau (可視化) 。31 / 31