【正文】 競爭格局：當(dāng)Nuevora評估的競爭格局，它在零上的大型咨詢公司，如埃森哲，和其他預(yù)測性分析的公司，如高山數(shù)據(jù)實(shí)驗(yàn)室。2011資金：Rackspace公司即將推出基于Hortonworks’分配自己的哈斯產(chǎn)品。Xplenty提供了基于Hadoop的云環(huán)境，里面有自由編輯器與設(shè)計環(huán)境，使企業(yè)可以節(jié)省大量的硬件投入，并且在軟件與相關(guān)的維護(hù)人員上也有大量的預(yù)算節(jié)省。關(guān)鍵的區(qū)別：12500000美元從Battery Ventures公司，啟明創(chuàng)投，安德森霍洛維茨，數(shù)據(jù)集合和放大的合作伙伴。Qubole指向其專有技術(shù)，提供真正的自動縮放和存儲優(yōu)化。上榜理由：由于Hadoop是一個相對較新的技術(shù)，完全掌握并且可以熟練運(yùn)用是一個非常困難的事情。關(guān)鍵的區(qū)別：DataTorrent認(rèn)為，他們可以很好的解決數(shù)據(jù)延遲問題，尤其是對實(shí)時數(shù)據(jù)分析要求很高的環(huán)境中。DataTorrent現(xiàn)在，隨著新興的數(shù)據(jù)庫解決方案，功能，使得RDBMS如此受歡迎了這么久，如ACID兼容，事務(wù)完整性，以及標(biāo)準(zhǔn)的SQL，可在成本效益和可擴(kuò)展的Hadoop平臺之上。秒級別的大數(shù)據(jù)處理速度Splice Machine因此，數(shù)據(jù)轉(zhuǎn)換的繁瑣的任務(wù)就變成一個輕量級的體驗(yàn)，更為靈活，效率比傳統(tǒng)方法。成立時間：主要客戶：MarketShare公司。Raymie Stata的，誰曾雅虎首席技術(shù)官。相比之下，Alpine Data Labs提供了一個“的SharePoint樣”的感覺。數(shù)據(jù)是在現(xiàn)場環(huán)境分析，不遷移或取樣，通過一個Web應(yīng)用程序，可以在本地托管。成立時間：關(guān)鍵客戶包括：康卡斯特，迪斯尼。成立時間： 該研究公司預(yù)計。推薦閱讀TalkingData與國內(nèi)眾多應(yīng)用分發(fā)平臺、渠道、廣告聯(lián)盟保持著緊密的合作關(guān)系，三年來積累了大量的移動互聯(lián)網(wǎng)用戶行為、興趣數(shù)據(jù)。我個人認(rèn)為沒有抓住大數(shù)據(jù)優(yōu)勢的核心，大數(shù)據(jù)產(chǎn)業(yè)園的管理機(jī)制和創(chuàng)新動力不足，無法發(fā)揮大數(shù)據(jù)計算的優(yōu)勢，反而浪費(fèi)了大量的投資，效率較低。該計劃涉及美國國家科學(xué)基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級研究計劃局、美國地質(zhì)勘探局等6個聯(lián)邦政府部門，承諾將投資兩億多美元，大力推動和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù)，以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識和洞見的能力。3）利用數(shù)據(jù)進(jìn)行決策，應(yīng)考慮其不良影響，顧及其他群體的利益，避免多數(shù)人暴政和少數(shù)精英獨(dú)斷專行。七、大數(shù)據(jù)的風(fēng)險控制任何一中事物出現(xiàn)后都會有其有利的一個方面，也有其不利的方面，片面的夸大了它的作用而不談它的弊端，這就是傳銷了。大數(shù)據(jù)企業(yè)在使用自身擁有的信息時也要注意保護(hù)敏感信息例如民族、政治意見、宗教信仰、健康／醫(yī)療信息，婚姻狀況、性生活、年齡、性別、犯罪記錄、個人喜好、標(biāo)準(zhǔn)IP地址等。數(shù)據(jù)銷毀主要是指數(shù)據(jù)如何進(jìn)行安全管理，對于不再需要的數(shù)據(jù)如何進(jìn)行銷毀，鑒于數(shù)據(jù)的數(shù)量較大，存儲需要重用，因此數(shù)據(jù)索引刪除、數(shù)據(jù)空間7次重寫，數(shù)據(jù)混淆、數(shù)據(jù)對稱加密等方式都可以用作數(shù)據(jù)銷毀，目前此階段市場需求不多，因此還沒有較為成熟的方案和廠商，未來將會用安全廠商進(jìn)入此領(lǐng)域。在這個階段主要是指擁有大數(shù)據(jù)的公司例如BAT，通訊行業(yè)、互聯(lián)網(wǎng)企業(yè)、物流行業(yè)、零售行業(yè)、醫(yī)療行業(yè)等，它們需要大數(shù)據(jù)采集和存儲產(chǎn)品。10)垂直應(yīng)用主要有PredictivePliciing、BloomReach,Myrrix,（BDA）,通過機(jī)器學(xué)習(xí)，網(wǎng)絡(luò)爬蟲和搜索技術(shù)來挖掘數(shù)據(jù)，對網(wǎng)站的數(shù)據(jù)進(jìn)行分析，然后為網(wǎng)站帶來更多的流量，從而給他們的客戶帶來更多的利潤。每臺服務(wù)同時對自己存儲的數(shù)據(jù)片段進(jìn)行分析并將結(jié)果范圍，最后在匯總計算為一個詳盡的分析結(jié)果，MapReduce就是這種收集和匯總分析結(jié)果代理。Hadoop的名稱來源于Doug的兒子為一只黃毛絨玩具長毛象取的名字。大量的社會行為正逐步走向互聯(lián)網(wǎng)，人們更愿意借助于互聯(lián)網(wǎng)平臺來表述自己的想法和宣泄情緒。政府可以提供不安全食品廠商信息，不安全食品信息，幫助人們提高食品安全意識。大數(shù)據(jù)技術(shù)可以幫助政府實(shí)現(xiàn)農(nóng)業(yè)的精細(xì)化管理，實(shí)現(xiàn)科學(xué)決策。鐵路利用大數(shù)據(jù)可以有效安排客運(yùn)和貨運(yùn)列車，提高效率、降低成本。由于缺少全局的數(shù)據(jù)和完善的數(shù)據(jù)，數(shù)據(jù)自身沒有體現(xiàn)其應(yīng)用的價值，所以在過去政府不重視數(shù)據(jù)價值。6）農(nóng)牧業(yè)大數(shù)據(jù)在農(nóng)業(yè)應(yīng)用主要是指依據(jù)未來商業(yè)需求的預(yù)測來進(jìn)行農(nóng)牧產(chǎn)品生產(chǎn)，降低菜賤傷農(nóng)的概率。另一層面是依據(jù)客戶購買產(chǎn)品，為客戶提供可能購買的其它產(chǎn)品，擴(kuò)大銷售額，也屬于精準(zhǔn)營銷范疇。政府和醫(yī)療行業(yè)是推動這一趨勢的重要動力。在發(fā)現(xiàn)診斷疾病時，疾病的確診和治療方案的確定是最困難的。依靠大數(shù)據(jù)提供的數(shù)據(jù)分析報告，人們將會發(fā)現(xiàn)決定一件事、判斷一件事、了解一件事不再變得困難。3）大數(shù)據(jù)有助于了解事物發(fā)展的客觀規(guī)律，利于科學(xué)決策大數(shù)據(jù)收集了全局的數(shù)據(jù)，準(zhǔn)確的數(shù)據(jù)，通過大數(shù)據(jù)計算統(tǒng)計出了解事物發(fā)展過程中的真相，通過數(shù)據(jù)分析出解人類社會的發(fā)展規(guī)律，自然界發(fā)展規(guī)律。大數(shù)據(jù)的高效計算能力，為人類節(jié)省了更多的時間。5）電商戶崛起產(chǎn)來了大量網(wǎng)上交易數(shù)據(jù)，包含支付數(shù)據(jù)，查詢行為，物流運(yùn)輸、購買喜好，點(diǎn)擊順序，評價行為等，其是信息流和資金流數(shù)據(jù)。現(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大，并且共享到了互聯(lián)網(wǎng)上，面對所有互聯(lián)網(wǎng)用戶，其數(shù)量之大是前所未有。確切的說是移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)產(chǎn)生了海量的數(shù)據(jù)，大數(shù)據(jù)計算技術(shù)完美地解決了海量數(shù)據(jù)的收集、存儲、計算、分析的問題。基于地圖產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型，在過去是不存在的。一、大數(shù)據(jù)時代帶給我們的思考1）大數(shù)據(jù)計算提高數(shù)據(jù)處理效率，增加人類認(rèn)知盈余大數(shù)據(jù)技術(shù)就像其他的技術(shù)革命一樣，是從效率提升入手。大數(shù)據(jù)帶來的統(tǒng)計結(jié)果將糾正過去人們對事物錯誤的認(rèn)識，影響過去人類行為、社會行為的結(jié)論，帶來全新的認(rèn)知?？梢哉f大數(shù)據(jù)的一個重要作用就是將人類行為數(shù)據(jù)進(jìn)行收集分析，了解人類行為特點(diǎn)，為數(shù)據(jù)價值的商業(yè)運(yùn)用提供基礎(chǔ)資產(chǎn)5）大數(shù)據(jù)改變過去的經(jīng)驗(yàn)思維，幫助人們建立數(shù)據(jù)思維人類社會的發(fā)展一直都在依賴著數(shù)據(jù)，無論是各國文明的演化，農(nóng)業(yè)的規(guī)劃，工業(yè)的發(fā)展，軍事戰(zhàn)役及政治事件等。1）醫(yī)療行業(yè)醫(yī)療行業(yè)擁有大量的病例，病理報告，治愈方案，藥物報告等等。同時這些數(shù)據(jù)也有利于醫(yī)藥行業(yè)開發(fā)出更加有效的藥物和醫(yī)療器械。3）金融行業(yè)大數(shù)據(jù)在金融行業(yè)應(yīng)用范圍較廣，典型的案例有花旗銀行利用IBM沃森電腦為財富管理客戶推薦產(chǎn)品，美國銀行利用客戶點(diǎn)擊數(shù)據(jù)集為客戶提供特色服務(wù)，如有競爭的信用額度。電商可以利用其交易數(shù)據(jù)和現(xiàn)金流數(shù)據(jù)，為其生態(tài)圈內(nèi)的商戶提供基于現(xiàn)金流的小額貸款，電商業(yè)也可以將此數(shù)據(jù)提供給銀行，同銀行合作為中小企業(yè)提供信貸支持。三、大數(shù)據(jù)的政府應(yīng)用場景大數(shù)據(jù)另外一個重要應(yīng)用領(lǐng)域就是在政府。科學(xué)的信號燈安排將會提高30％左右已有道路的通行能力。過去出現(xiàn)的豬肉過剩、卷心菜過剩、香蕉過剩的原因就是農(nóng)牧業(yè)沒有規(guī)劃好。在數(shù)據(jù)驅(qū)動下，采集人們在互聯(lián)網(wǎng)上提供的舉報信息，國家可以掌握部分鄉(xiāng)村和城市的死角信息，挖出不法加工點(diǎn)，提高執(zhí)法透明度，降低執(zhí)法成本。政府運(yùn)作效率的提升，決策的科學(xué)客觀，財政支出合理透明都將大大提升國家整體實(shí)力，成為國家競爭優(yōu)勢。四、大數(shù)據(jù)技術(shù)及廠商由于本篇文章主要的目的是進(jìn)行大數(shù)據(jù)知識普及，因此在大數(shù)據(jù)技術(shù)和平臺方面就不進(jìn)行深入探討，主要介紹一些典型的大數(shù)據(jù)技術(shù)和行業(yè)解決方案，具體的大家可以參考趙剛老師的《大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南》，（MichaelMinelli）《大數(shù)據(jù)分析決生互連網(wǎng)金融時代》（BIGDATABIGANALYTICS）。HDFS將數(shù)據(jù)分成若干片段后分布存儲在集群中的不同服務(wù)器上。8)日志應(yīng)用主要產(chǎn)品有Splunk、Loggly、SumoLogic。但是從數(shù)據(jù)的收集，存貯，處理，分析，銷毀等方面分析，可以形成大數(shù)據(jù)產(chǎn)業(yè)鏈。SAN存儲由于成本過高，不建議用于大數(shù)據(jù)存儲，但是土豪除外。過度強(qiáng)調(diào)隱私保護(hù)而不發(fā)展大數(shù)據(jù)產(chǎn)業(yè)也是一個錯誤的選擇，人類可能會錯失一個高速發(fā)展的機(jī)遇。不要使用針對個體的數(shù)據(jù)，同時在數(shù)據(jù)分析是需要注意關(guān)注隱私數(shù)據(jù)保護(hù)。1）數(shù)據(jù)不能起到?jīng)Q定作用，僅應(yīng)提供輔助決策。八、中國的大數(shù)據(jù)之路任重而道遠(yuǎn)中國目前的大數(shù)據(jù)應(yīng)用環(huán)境和技術(shù)相對于美國而言，在整體技術(shù)水平、應(yīng)用環(huán)境、國民意識、商業(yè)環(huán)境、技術(shù)廠商、技術(shù)平臺上面相差超過5年左右。目前了解到的信息是上海政府計劃建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園，通過政府自身投資來建立大數(shù)據(jù)平臺，吸引中小企業(yè)將信息系統(tǒng)及數(shù)據(jù)放到政府主導(dǎo)的數(shù)據(jù)平臺上，政府將利用此平臺來挖掘數(shù)據(jù)信息，提供數(shù)據(jù)信息報告。美國的通用電氣公司投入了15億美金建立了軟件分析公司，雇用了400名數(shù)據(jù)科學(xué)家進(jìn)行大數(shù)據(jù)產(chǎn)業(yè)研究。| 在Hadoop市場快速發(fā)展的大環(huán)境 ...全球的數(shù)據(jù)正在以幾何數(shù)字增長，借助這股數(shù)據(jù)浪潮在全球范圍內(nèi)迅速成長起來一大批Hadoop的初創(chuàng)型公司?？偛浚杭又軸an Mateo。上榜原因：Platfora成立的目的在于簡化Hadoop。麻煩的是，復(fù)雜的高級分析和機(jī)器學(xué)習(xí)通常需要編寫腳本和編碼的專業(yè)知識，這可以限制對數(shù)據(jù)的訪問科學(xué)家。主要客戶包括：索尼，哈瓦斯媒