【正文】 競(jìng)爭(zhēng)格局：當(dāng)Nuevora評(píng)估的競(jìng)爭(zhēng)格局，它在零上的大型咨詢公司，如埃森哲，和其他預(yù)測(cè)性分析的公司，如高山數(shù)據(jù)實(shí)驗(yàn)室。2011資金：Rackspace公司即將推出基于Hortonworks’分配自己的哈斯產(chǎn)品。Xplenty提供了基于Hadoop的云環(huán)境，里面有自由編輯器與設(shè)計(jì)環(huán)境，使企業(yè)可以節(jié)省大量的硬件投入，并且在軟件與相關(guān)的維護(hù)人員上也有大量的預(yù)算節(jié)省。關(guān)鍵的區(qū)別：12500000美元從Battery Ventures公司，啟明創(chuàng)投，安德森霍洛維茨，數(shù)據(jù)集合和放大的合作伙伴。Qubole指向其專有技術(shù)，提供真正的自動(dòng)縮放和存儲(chǔ)優(yōu)化。上榜理由：由于Hadoop是一個(gè)相對(duì)較新的技術(shù)，完全掌握并且可以熟練運(yùn)用是一個(gè)非常困難的事情。關(guān)鍵的區(qū)別：DataTorrent認(rèn)為，他們可以很好的解決數(shù)據(jù)延遲問題，尤其是對(duì)實(shí)時(shí)數(shù)據(jù)分析要求很高的環(huán)境中。DataTorrent現(xiàn)在，隨著新興的數(shù)據(jù)庫解決方案，功能，使得RDBMS如此受歡迎了這么久，如ACID兼容，事務(wù)完整性，以及標(biāo)準(zhǔn)的SQL，可在成本效益和可擴(kuò)展的Hadoop平臺(tái)之上。秒級(jí)別的大數(shù)據(jù)處理速度Splice Machine因此，數(shù)據(jù)轉(zhuǎn)換的繁瑣的任務(wù)就變成一個(gè)輕量級(jí)的體驗(yàn)，更為靈活，效率比傳統(tǒng)方法。成立時(shí)間：主要客戶：MarketShare公司。Raymie Stata的，誰曾雅虎首席技術(shù)官。相比之下，Alpine Data Labs提供了一個(gè)“的SharePoint樣”的感覺。數(shù)據(jù)是在現(xiàn)場(chǎng)環(huán)境分析，不遷移或取樣，通過一個(gè)Web應(yīng)用程序，可以在本地托管。成立時(shí)間：關(guān)鍵客戶包括：康卡斯特，迪斯尼。成立時(shí)間： 該研究公司預(yù)計(jì)。推薦閱讀TalkingData與國內(nèi)眾多應(yīng)用分發(fā)平臺(tái)、渠道、廣告聯(lián)盟保持著緊密的合作關(guān)系，三年來積累了大量的移動(dòng)互聯(lián)網(wǎng)用戶行為、興趣數(shù)據(jù)。我個(gè)人認(rèn)為沒有抓住大數(shù)據(jù)優(yōu)勢(shì)的核心，大數(shù)據(jù)產(chǎn)業(yè)園的管理機(jī)制和創(chuàng)新動(dòng)力不足，無法發(fā)揮大數(shù)據(jù)計(jì)算的優(yōu)勢(shì)，反而浪費(fèi)了大量的投資，效率較低。該計(jì)劃涉及美國國家科學(xué)基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級(jí)研究計(jì)劃局、美國地質(zhì)勘探局等6個(gè)聯(lián)邦政府部門，承諾將投資兩億多美元，大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù)，以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見的能力。3）利用數(shù)據(jù)進(jìn)行決策，應(yīng)考慮其不良影響，顧及其他群體的利益，避免多數(shù)人暴政和少數(shù)精英獨(dú)斷專行。七、大數(shù)據(jù)的風(fēng)險(xiǎn)控制任何一中事物出現(xiàn)后都會(huì)有其有利的一個(gè)方面，也有其不利的方面，片面的夸大了它的作用而不談它的弊端，這就是傳銷了。大數(shù)據(jù)企業(yè)在使用自身擁有的信息時(shí)也要注意保護(hù)敏感信息例如民族、政治意見、宗教信仰、健康／醫(yī)療信息，婚姻狀況、性生活、年齡、性別、犯罪記錄、個(gè)人喜好、標(biāo)準(zhǔn)IP地址等。數(shù)據(jù)銷毀主要是指數(shù)據(jù)如何進(jìn)行安全管理，對(duì)于不再需要的數(shù)據(jù)如何進(jìn)行銷毀，鑒于數(shù)據(jù)的數(shù)量較大，存儲(chǔ)需要重用，因此數(shù)據(jù)索引刪除、數(shù)據(jù)空間7次重寫，數(shù)據(jù)混淆、數(shù)據(jù)對(duì)稱加密等方式都可以用作數(shù)據(jù)銷毀，目前此階段市場(chǎng)需求不多，因此還沒有較為成熟的方案和廠商，未來將會(huì)用安全廠商進(jìn)入此領(lǐng)域。在這個(gè)階段主要是指擁有大數(shù)據(jù)的公司例如BAT，通訊行業(yè)、互聯(lián)網(wǎng)企業(yè)、物流行業(yè)、零售行業(yè)、醫(yī)療行業(yè)等，它們需要大數(shù)據(jù)采集和存儲(chǔ)產(chǎn)品。10)垂直應(yīng)用主要有PredictivePliciing、BloomReach,Myrrix,（BDA）,通過機(jī)器學(xué)習(xí)，網(wǎng)絡(luò)爬蟲和搜索技術(shù)來挖掘數(shù)據(jù)，對(duì)網(wǎng)站的數(shù)據(jù)進(jìn)行分析，然后為網(wǎng)站帶來更多的流量，從而給他們的客戶帶來更多的利潤。每臺(tái)服務(wù)同時(shí)對(duì)自己存儲(chǔ)的數(shù)據(jù)片段進(jìn)行分析并將結(jié)果范圍，最后在匯總計(jì)算為一個(gè)詳盡的分析結(jié)果，MapReduce就是這種收集和匯總分析結(jié)果代理。Hadoop的名稱來源于Doug的兒子為一只黃毛絨玩具長毛象取的名字。大量的社會(huì)行為正逐步走向互聯(lián)網(wǎng)，人們更愿意借助于互聯(lián)網(wǎng)平臺(tái)來表述自己的想法和宣泄情緒。政府可以提供不安全食品廠商信息，不安全食品信息，幫助人們提高食品安全意識(shí)。大數(shù)據(jù)技術(shù)可以幫助政府實(shí)現(xiàn)農(nóng)業(yè)的精細(xì)化管理，實(shí)現(xiàn)科學(xué)決策。鐵路利用大數(shù)據(jù)可以有效安排客運(yùn)和貨運(yùn)列車，提高效率、降低成本。由于缺少全局的數(shù)據(jù)和完善的數(shù)據(jù)，數(shù)據(jù)自身沒有體現(xiàn)其應(yīng)用的價(jià)值，所以在過去政府不重視數(shù)據(jù)價(jià)值。6）農(nóng)牧業(yè)大數(shù)據(jù)在農(nóng)業(yè)應(yīng)用主要是指依據(jù)未來商業(yè)需求的預(yù)測(cè)來進(jìn)行農(nóng)牧產(chǎn)品生產(chǎn)，降低菜賤傷農(nóng)的概率。另一層面是依據(jù)客戶購買產(chǎn)品，為客戶提供可能購買的其它產(chǎn)品，擴(kuò)大銷售額，也屬于精準(zhǔn)營銷范疇。政府和醫(yī)療行業(yè)是推動(dòng)這一趨勢(shì)的重要?jiǎng)恿?。在發(fā)現(xiàn)診斷疾病時(shí)，疾病的確診和治療方案的確定是最困難的。依靠大數(shù)據(jù)提供的數(shù)據(jù)分析報(bào)告，人們將會(huì)發(fā)現(xiàn)決定一件事、判斷一件事、了解一件事不再變得困難。3）大數(shù)據(jù)有助于了解事物發(fā)展的客觀規(guī)律，利于科學(xué)決策大數(shù)據(jù)收集了全局的數(shù)據(jù)，準(zhǔn)確的數(shù)據(jù)，通過大數(shù)據(jù)計(jì)算統(tǒng)計(jì)出了解事物發(fā)展過程中的真相，通過數(shù)據(jù)分析出解人類社會(huì)的發(fā)展規(guī)律，自然界發(fā)展規(guī)律。大數(shù)據(jù)的高效計(jì)算能力，為人類節(jié)省了更多的時(shí)間。5）電商戶崛起產(chǎn)來了大量網(wǎng)上交易數(shù)據(jù)，包含支付數(shù)據(jù)，查詢行為，物流運(yùn)輸、購買喜好，點(diǎn)擊順序，評(píng)價(jià)行為等，其是信息流和資金流數(shù)據(jù)。現(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大，并且共享到了互聯(lián)網(wǎng)上，面對(duì)所有互聯(lián)網(wǎng)用戶，其數(shù)量之大是前所未有。確切的說是移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)產(chǎn)生了海量的數(shù)據(jù)，大數(shù)據(jù)計(jì)算技術(shù)完美地解決了海量數(shù)據(jù)的收集、存儲(chǔ)、計(jì)算、分析的問題?；诘貓D產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型，在過去是不存在的。一、大數(shù)據(jù)時(shí)代帶給我們的思考1）大數(shù)據(jù)計(jì)算提高數(shù)據(jù)處理效率，增加人類認(rèn)知盈余大數(shù)據(jù)技術(shù)就像其他的技術(shù)革命一樣，是從效率提升入手。大數(shù)據(jù)帶來的統(tǒng)計(jì)結(jié)果將糾正過去人們對(duì)事物錯(cuò)誤的認(rèn)識(shí)，影響過去人類行為、社會(huì)行為的結(jié)論，帶來全新的認(rèn)知?？梢哉f大數(shù)據(jù)的一個(gè)重要作用就是將人類行為數(shù)據(jù)進(jìn)行收集分析，了解人類行為特點(diǎn)，為數(shù)據(jù)價(jià)值的商業(yè)運(yùn)用提供基礎(chǔ)資產(chǎn)5）大數(shù)據(jù)改變過去的經(jīng)驗(yàn)思維，幫助人們建立數(shù)據(jù)思維人類社會(huì)的發(fā)展一直都在依賴著數(shù)據(jù)，無論是各國文明的演化，農(nóng)業(yè)的規(guī)劃，工業(yè)的發(fā)展，軍事戰(zhàn)役及政治事件等。1）醫(yī)療行業(yè)醫(yī)療行業(yè)擁有大量的病例，病理報(bào)告，治愈方案，藥物報(bào)告等等。同時(shí)這些數(shù)據(jù)也有利于醫(yī)藥行業(yè)開發(fā)出更加有效的藥物和醫(yī)療器械。3）金融行業(yè)大數(shù)據(jù)在金融行業(yè)應(yīng)用范圍較廣，典型的案例有花旗銀行利用IBM沃森電腦為財(cái)富管理客戶推薦產(chǎn)品，美國銀行利用客戶點(diǎn)擊數(shù)據(jù)集為客戶提供特色服務(wù)，如有競(jìng)爭(zhēng)的信用額度。電商可以利用其交易數(shù)據(jù)和現(xiàn)金流數(shù)據(jù)，為其生態(tài)圈內(nèi)的商戶提供基于現(xiàn)金流的小額貸款，電商業(yè)也可以將此數(shù)據(jù)提供給銀行，同銀行合作為中小企業(yè)提供信貸支持。三、大數(shù)據(jù)的政府應(yīng)用場(chǎng)景大數(shù)據(jù)另外一個(gè)重要應(yīng)用領(lǐng)域就是在政府。科學(xué)的信號(hào)燈安排將會(huì)提高30％左右已有道路的通行能力。過去出現(xiàn)的豬肉過剩、卷心菜過剩、香蕉過剩的原因就是農(nóng)牧業(yè)沒有規(guī)劃好。在數(shù)據(jù)驅(qū)動(dòng)下，采集人們?cè)诨ヂ?lián)網(wǎng)上提供的舉報(bào)信息，國家可以掌握部分鄉(xiāng)村和城市的死角信息，挖出不法加工點(diǎn)，提高執(zhí)法透明度，降低執(zhí)法成本。政府運(yùn)作效率的提升，決策的科學(xué)客觀，財(cái)政支出合理透明都將大大提升國家整體實(shí)力，成為國家競(jìng)爭(zhēng)優(yōu)勢(shì)。四、大數(shù)據(jù)技術(shù)及廠商由于本篇文章主要的目的是進(jìn)行大數(shù)據(jù)知識(shí)普及，因此在大數(shù)據(jù)技術(shù)和平臺(tái)方面就不進(jìn)行深入探討，主要介紹一些典型的大數(shù)據(jù)技術(shù)和行業(yè)解決方案，具體的大家可以參考趙剛老師的《大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南》，（MichaelMinelli）《大數(shù)據(jù)分析決生互連網(wǎng)金融時(shí)代》（BIGDATABIGANALYTICS）。HDFS將數(shù)據(jù)分成若干片段后分布存儲(chǔ)在集群中的不同服務(wù)器上。8)日志應(yīng)用主要產(chǎn)品有Splunk、Loggly、SumoLogic。但是從數(shù)據(jù)的收集，存貯，處理，分析，銷毀等方面分析，可以形成大數(shù)據(jù)產(chǎn)業(yè)鏈。SAN存儲(chǔ)由于成本過高，不建議用于大數(shù)據(jù)存儲(chǔ)，但是土豪除外。過度強(qiáng)調(diào)隱私保護(hù)而不發(fā)展大數(shù)據(jù)產(chǎn)業(yè)也是一個(gè)錯(cuò)誤的選擇，人類可能會(huì)錯(cuò)失一個(gè)高速發(fā)展的機(jī)遇。不要使用針對(duì)個(gè)體的數(shù)據(jù)，同時(shí)在數(shù)據(jù)分析是需要注意關(guān)注隱私數(shù)據(jù)保護(hù)。1）數(shù)據(jù)不能起到?jīng)Q定作用，僅應(yīng)提供輔助決策。八、中國的大數(shù)據(jù)之路任重而道遠(yuǎn)中國目前的大數(shù)據(jù)應(yīng)用環(huán)境和技術(shù)相對(duì)于美國而言，在整體技術(shù)水平、應(yīng)用環(huán)境、國民意識(shí)、商業(yè)環(huán)境、技術(shù)廠商、技術(shù)平臺(tái)上面相差超過5年左右。目前了解到的信息是上海政府計(jì)劃建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園，通過政府自身投資來建立大數(shù)據(jù)平臺(tái)，吸引中小企業(yè)將信息系統(tǒng)及數(shù)據(jù)放到政府主導(dǎo)的數(shù)據(jù)平臺(tái)上，政府將利用此平臺(tái)來挖掘數(shù)據(jù)信息，提供數(shù)據(jù)信息報(bào)告。美國的通用電氣公司投入了15億美金建立了軟件分析公司，雇用了400名數(shù)據(jù)科學(xué)家進(jìn)行大數(shù)據(jù)產(chǎn)業(yè)研究。| 在Hadoop市場(chǎng)快速發(fā)展的大環(huán)境 ...全球的數(shù)據(jù)正在以幾何數(shù)字增長，借助這股數(shù)據(jù)浪潮在全球范圍內(nèi)迅速成長起來一大批Hadoop的初創(chuàng)型公司。總部：加州San Mateo。上榜原因：Platfora成立的目的在于簡(jiǎn)化Hadoop。麻煩的是，復(fù)雜的高級(jí)分析和機(jī)器學(xué)習(xí)通常需要編寫腳本和編碼的專業(yè)知識(shí)，這可以限制對(duì)數(shù)據(jù)的訪問科學(xué)家。主要客戶包括：索尼，哈瓦斯媒