【文章內(nèi)容簡(jiǎn)介】 plunk是一個(gè)可運(yùn)行于各種平臺(tái)的IT數(shù)據(jù)、日志分析軟件。9)廣告／媒體應(yīng)用主要產(chǎn)品有MediaScience、BlucefinLaps、RocketFuelDataXu,，每天處理15億次品牌廣告展示，廣告效果完全基于數(shù)據(jù)來(lái)改善。10)垂直應(yīng)用主要有PredictivePliciing、BloomReach,Myrrix,（BDA）,通過(guò)機(jī)器學(xué)習(xí)，網(wǎng)絡(luò)爬蟲(chóng)和搜索技術(shù)來(lái)挖掘數(shù)據(jù)，對(duì)網(wǎng)站的數(shù)據(jù)進(jìn)行分析，然后為網(wǎng)站帶來(lái)更多的流量，從而給他們的客戶帶來(lái)更多的利潤(rùn)。國(guó)內(nèi)的互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)應(yīng)用和研發(fā)方面處于較好的水平例如淘寶、百度、騰訊、新浪等。但是在大數(shù)據(jù)產(chǎn)品和技術(shù)服務(wù)領(lǐng)域卻落后于國(guó)際廠商。國(guó)際主流大數(shù)據(jù)產(chǎn)商包括Cloudera、Hortonworks、MapR,IBM,Oracle,EMC,Intel,SAP,Teredata。具體的解決方案請(qǐng)參考趙剛老師的書(shū)《大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南》五、大數(shù)據(jù)產(chǎn)業(yè)鏈介紹由于大數(shù)據(jù)及大數(shù)據(jù)技術(shù)是一個(gè)工具，無(wú)法像互聯(lián)網(wǎng)企業(yè)那樣形成一個(gè)大數(shù)據(jù)生態(tài)圈，形成閉環(huán)。但是從數(shù)據(jù)的收集，存貯，處理，分析，銷毀等方面分析，可以形成大數(shù)據(jù)產(chǎn)業(yè)鏈。數(shù)據(jù)的收集主要是指各種數(shù)據(jù)通過(guò)傳感器或其他方式被采集，大數(shù)據(jù)的的采集除了傳統(tǒng)的互連網(wǎng)入口、社交平臺(tái)、搜索引擎、電商交易數(shù)據(jù)、在線問(wèn)答、企業(yè)業(yè)務(wù)數(shù)據(jù)外，移動(dòng)互聯(lián)網(wǎng)的App將是一個(gè)重要的數(shù)據(jù)入口，例如通過(guò)手機(jī)APP內(nèi)嵌的SDK將手機(jī)App上的用戶行為數(shù)據(jù)集中進(jìn)行收集和處理，TalkingData目前是這一領(lǐng)域的領(lǐng)先的大數(shù)據(jù)廠商，他們既有大數(shù)據(jù)又有數(shù)據(jù)管理平臺(tái)DMP。攝像頭采集的數(shù)據(jù)、導(dǎo)航地圖的軌跡數(shù)據(jù)、物流信息、移動(dòng)互聯(lián)網(wǎng)App的LBS位置數(shù)據(jù)等都大數(shù)據(jù)的重要來(lái)源。在這個(gè)階段主要是指擁有大數(shù)據(jù)的公司例如BAT，通訊行業(yè)、互聯(lián)網(wǎng)企業(yè)、物流行業(yè)、零售行業(yè)、醫(yī)療行業(yè)等，它們需要大數(shù)據(jù)采集和存儲(chǔ)產(chǎn)品。數(shù)據(jù)的存儲(chǔ)主要是指利用何種方式進(jìn)行數(shù)據(jù)存貯，對(duì)于中小企業(yè)，云存儲(chǔ)是以個(gè)不錯(cuò)的原則，對(duì)于金融行業(yè)和其他對(duì)數(shù)據(jù)保有權(quán)較為重視的企業(yè)，私有云將是一個(gè)不錯(cuò)的選擇。政府主導(dǎo)的大數(shù)據(jù)存儲(chǔ)平臺(tái)可以作為參考。如果認(rèn)為云平臺(tái)無(wú)法采用時(shí)，采用低端的并行計(jì)算機(jī)可能是一個(gè)經(jīng)濟(jì)的方案，但是由于沒(méi)有云操作系統(tǒng)，其存儲(chǔ)的效率是個(gè)較大的挑戰(zhàn)。EMC、NetAPP、日立的NAS存儲(chǔ)可以考慮。SAN存儲(chǔ)由于成本過(guò)高，不建議用于大數(shù)據(jù)存儲(chǔ)，但是土豪除外。數(shù)據(jù)處理數(shù)據(jù)處理主要是指數(shù)據(jù)處理平臺(tái)，采用了SAAS概念的大數(shù)據(jù)處理平臺(tái)都可以考慮，企業(yè)在考慮處理平臺(tái)時(shí)建議，循序漸進(jìn)，以未來(lái)2年內(nèi)的數(shù)據(jù)處理量為參考，千萬(wàn)不要一次投資到位，因?yàn)閿?shù)據(jù)處理的技術(shù)發(fā)展是幾何級(jí)數(shù)的，兩年后采用新的技術(shù)平臺(tái)，其ROI將會(huì)大大降低，采用Cloudera,Hortonworks,MapR的Hadoop產(chǎn)品都可以，如果其在中國(guó)沒(méi)有成熟團(tuán)隊(duì)建議考慮IBM,HP,Oracle的解決方案，他們的案例較多。數(shù)據(jù)分析主要是指如何對(duì)處理完的數(shù)據(jù)進(jìn)行商業(yè)分析，業(yè)務(wù)需求和技術(shù)需求必須有本企業(yè)技術(shù)和商業(yè)人員主導(dǎo)，外部廠商很難了解企業(yè)自身的商業(yè)需求，但是數(shù)據(jù)展現(xiàn)形式和分析方式可以交給廠商來(lái)做，主要涉及的廠商是傳統(tǒng)的商業(yè)智能產(chǎn)品和可視化應(yīng)用，包括Oracle的Hyperion、Teredata、SAPBusinessObjects,IBMCongnos,SAS,HP的Autonomy、QlikView等。數(shù)據(jù)銷毀主要是指數(shù)據(jù)如何進(jìn)行安全管理，對(duì)于不再需要的數(shù)據(jù)如何進(jìn)行銷毀，鑒于數(shù)據(jù)的數(shù)量較大，存儲(chǔ)需要重用，因此數(shù)據(jù)索引刪除、數(shù)據(jù)空間7次重寫，數(shù)據(jù)混淆、數(shù)據(jù)對(duì)稱加密等方式都可以用作數(shù)據(jù)銷毀，目前此階段市場(chǎng)需求不多，因此還沒(méi)有較為成熟的方案和廠商，未來(lái)將會(huì)用安全廠商進(jìn)入此領(lǐng)域。由于目前大數(shù)據(jù)產(chǎn)業(yè)的商業(yè)模式和盈利模式還在探索之中，大數(shù)據(jù)帶來(lái)的直接收益還沒(méi)有明確，目前主要的商業(yè)形式還是大數(shù)企業(yè)自身的大數(shù)據(jù)應(yīng)用（例如，大數(shù)據(jù)計(jì)算平臺(tái)，大數(shù)據(jù)采集和分析，數(shù)據(jù)分析報(bào)告），行業(yè)應(yīng)用處于一個(gè)探索的階段，在大數(shù)據(jù)較為集中的電信行業(yè)，并沒(méi)有成立數(shù)據(jù)事業(yè)部，數(shù)據(jù)被當(dāng)作資產(chǎn)良好的保存起來(lái)，國(guó)外的大數(shù)據(jù)投資`在2005年就開(kāi)始了，很多高科技企業(yè)已經(jīng)大數(shù)產(chǎn)業(yè)鏈上投入巨資進(jìn)行技術(shù)開(kāi)發(fā)和行業(yè)應(yīng)用。六、大數(shù)據(jù)隱私保護(hù)大數(shù)據(jù)的隱私和倫理已經(jīng)爭(zhēng)論了很多年，由于其涉及我們每個(gè)人的自身利益，大數(shù)據(jù)隱私保護(hù)是大數(shù)據(jù)產(chǎn)業(yè)需要正面面對(duì)的問(wèn)題。大數(shù)據(jù)在采集過(guò)程中必定會(huì)涉及到隱私數(shù)據(jù)，的收集，如果其保護(hù)的不好將會(huì)造成嚴(yán)重的后果，成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的瓶頸。過(guò)度強(qiáng)調(diào)大數(shù)據(jù)的商業(yè)應(yīng)用而忽視了大數(shù)據(jù)產(chǎn)業(yè)的隱私保護(hù)，將會(huì)產(chǎn)生災(zāi)難性的后果，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展可能會(huì)因此被禁止。過(guò)度強(qiáng)調(diào)隱私保護(hù)而不發(fā)展大數(shù)據(jù)產(chǎn)業(yè)也是一個(gè)錯(cuò)誤的選擇，人類可能會(huì)錯(cuò)失一個(gè)高速發(fā)展的機(jī)遇。大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要建立在隱私保護(hù)基礎(chǔ)之上，同時(shí)隱私保護(hù)也將通過(guò)適當(dāng)約束來(lái)助推大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。大數(shù)據(jù)企業(yè)在采集外部數(shù)據(jù)時(shí)，應(yīng)該注意盡量不要收集可以識(shí)別出個(gè)人的PII信息，參照美國(guó)個(gè)人隱私定義者，PII信息包括姓名、地址、手機(jī)號(hào)碼、身份證號(hào)、駕駛證號(hào)、銀行帳號(hào)、借記卡／信用卡號(hào)。大數(shù)據(jù)企業(yè)在使用自身?yè)碛械男畔r(shí)也要注意保護(hù)敏感信息例如民族、政治意見(jiàn)、宗教信仰、健康／醫(yī)療信息，婚姻狀況、性生活、年齡、性別、犯罪記錄、個(gè)人喜好、標(biāo)準(zhǔn)IP地址等。大數(shù)據(jù)企業(yè)應(yīng)該在其公司的章程和文件中體現(xiàn)對(duì)個(gè)人隱私數(shù)據(jù)的保護(hù)，堅(jiān)持遵守全球隱私保護(hù)7條原則；1)知曉權(quán)（透明性）：應(yīng)該通知本人關(guān)于所收集信息的目的2)選擇權(quán)：提供機(jī)會(huì)選擇或放棄所提供的個(gè)人信息是否被使用或如何被使用3)同意權(quán)：再符合知曉權(quán)和選擇權(quán)的情況下才可以向第三方透露個(gè)人數(shù)據(jù)信息4)安全權(quán)：采取負(fù)責(zé)的措施保護(hù)個(gè)人信息免受丟失、濫用、未授權(quán)獲取、泄露、篡改、毀壞的威脅5)數(shù)據(jù)完整性：確保個(gè)人信息在最終用途、合理防護(hù)方面的可靠性，確保信息精確、完整、無(wú)誤。6)可查詢：提供本人查詢個(gè)人信息的途徑7)責(zé)任性：企業(yè)有責(zé)任遵守上述法則，并應(yīng)確保合規(guī)的機(jī)制。大數(shù)據(jù)企業(yè)面對(duì)的數(shù)據(jù)分為公開(kāi)數(shù)據(jù)，授權(quán)數(shù)據(jù)，隱私數(shù)據(jù)。公開(kāi)數(shù)據(jù)來(lái)源于公共媒體因此可以無(wú)須強(qiáng)調(diào)保護(hù)，授權(quán)數(shù)據(jù)來(lái)源于數(shù)據(jù)收集過(guò)程中，客戶對(duì)企業(yè)的授權(quán)，需要依據(jù)簽訂的協(xié)議使用范圍來(lái)使用，不能過(guò)越權(quán)進(jìn)行數(shù)據(jù)轉(zhuǎn)讓和販賣，大數(shù)據(jù)企業(yè)僅能在簽署的授權(quán)范圍內(nèi)部進(jìn)行使用，企業(yè)在使用大數(shù)據(jù)時(shí)盡量使用分類數(shù)據(jù)、群體數(shù)據(jù)、趨勢(shì)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)。不要使用針對(duì)個(gè)體的數(shù)據(jù)，同時(shí)在數(shù)據(jù)分析是需要注意關(guān)注隱私數(shù)據(jù)保護(hù)。大數(shù)據(jù)企業(yè)在利用隱私數(shù)據(jù)時(shí)將要特別注意對(duì)其的保護(hù)，即使在客戶授權(quán)的前提下，也要注意數(shù)據(jù)的使用場(chǎng)合和揭示方式，不要向外泄露受保護(hù)的PII信息。大數(shù)據(jù)隱私保護(hù)應(yīng)該從企業(yè)法律意識(shí)、國(guó)家法律法規(guī)、數(shù)據(jù)保護(hù)技術(shù)等幾個(gè)方面入手進(jìn)行大數(shù)據(jù)隱私保護(hù)，其是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一個(gè)重要前提，解決了大數(shù)據(jù)隱私保護(hù)問(wèn)題才能打開(kāi)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的空間，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展才有明確的未來(lái)。七、大數(shù)據(jù)的風(fēng)險(xiǎn)控制任何一中事物出現(xiàn)后都會(huì)有其有利的一個(gè)方面，也有其不利的方面，片面的夸大了它的作用而不談它的弊端，這就是傳銷了。大數(shù)據(jù)和其他的新鮮事物一樣，它不是神，不可能天生沒(méi)有缺陷，不可能天生沒(méi)有風(fēng)險(xiǎn)，我們要正視大數(shù)據(jù)時(shí)代的弊端，在享受大數(shù)據(jù)時(shí)代的紅利時(shí)，希望能夠認(rèn)清其弊端，不要成為數(shù)據(jù)的奴隸，不要成為Matrix的營(yíng)養(yǎng)品。大數(shù)據(jù)本質(zhì)就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣是人類的工具，能有限地幫助人們但是不能代替人們思考和做決策。大數(shù)據(jù)不能幫助人類解決生理需要、情感溝通、心理安慰的問(wèn)題，大數(shù)據(jù)只是一個(gè)提高效率和輔助人類決策的工具。我們聊一聊如何控制大數(shù)據(jù)帶來(lái)的風(fēng)險(xiǎn)。1）數(shù)據(jù)不能起到?jīng)Q定作用，僅應(yīng)提供輔助決策。決策應(yīng)來(lái)源于人類集體智慧和決策層，千萬(wàn)不能讓數(shù)據(jù)或人工智能指揮一切。2）數(shù)據(jù)報(bào)表不能代替人類思考，有些因素沒(méi)有辦法進(jìn)行量化，有些因素?cái)?shù)據(jù)報(bào)表無(wú)法提供信息，重大決定人類必需綜進(jìn)行綜合考慮。3）利用數(shù)據(jù)進(jìn)行決策，應(yīng)考慮其不良影響，顧及其他群體的利益，避免多數(shù)人暴政和少數(shù)精英獨(dú)斷專行。4）有些領(lǐng)域不能過(guò)度依靠參考數(shù)據(jù)，還應(yīng)該從尊重生命出發(fā)如食品安全管理問(wèn)題等。5）應(yīng)建立數(shù)據(jù)分析和決策之間的防火墻，避免出現(xiàn)黑客帝國(guó)的場(chǎng)景。大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)思維歸根到底還是商業(yè)思維的具體體現(xiàn)，同樣的大數(shù)據(jù)在不同的人眼里，會(huì)表現(xiàn)出不同的表現(xiàn)形式，同樣一組數(shù)據(jù)，通過(guò)不同的緯度看將會(huì)產(chǎn)生不同的商業(yè)結(jié)果。因此大數(shù)據(jù)僅是工具，其不能代替人類自身對(duì)社會(huì)的理解，以及人類社會(huì)自身的道德約束等。八、中國(guó)的大數(shù)據(jù)之路任重而道遠(yuǎn)中國(guó)目前的大數(shù)據(jù)應(yīng)用環(huán)境和技術(shù)相對(duì)于美國(guó)而言，在整體技術(shù)水平、應(yīng)用環(huán)境、國(guó)民意識(shí)、商業(yè)環(huán)境、技術(shù)廠商、技術(shù)平臺(tái)上面相差超過(guò)5年左右。在大數(shù)據(jù)應(yīng)用的國(guó)家戰(zhàn)略層面落后的也較多。2012年3月，美國(guó)奧巴馬政府宣布推出“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”。該計(jì)劃涉及美國(guó)國(guó)家科學(xué)基金、美國(guó)國(guó)家衛(wèi)生研究院、美國(guó)能源部、美國(guó)國(guó)防部、美國(guó)國(guó)防部高級(jí)研究計(jì)劃局、美國(guó)地質(zhì)勘探局等6個(gè)聯(lián)邦政府部門，承諾將投資兩億多美元，大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù)，以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見(jiàn)的能力。美國(guó)奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域，是大數(shù)據(jù)從商業(yè)行為上升到國(guó)家戰(zhàn)略的分水嶺，表明大數(shù)據(jù)正式提升到戰(zhàn)略層面，大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)各個(gè)層面、各個(gè)領(lǐng)域都開(kāi)始受到重視。20