【正文】 Server數(shù)據(jù)庫。支持這一產(chǎn)品的包括有合作伙伴惠普的硬件平臺。用戶可升級選用WX2構(gòu)建一個虛擬多維數(shù)據(jù)集。而追求查詢性能的Rapids，其預(yù)配置提供有96個運(yùn)算核心。Kognitio是一家本身不生產(chǎn)硬件產(chǎn)品的數(shù)據(jù)庫廠商，它看到了客戶對快速部署的廣泛興趣和市場需求，推出了在惠普、IBM硬件產(chǎn)品上預(yù)配置有WX2數(shù)據(jù)庫的Lakes、Rivers和Rapids解決方案。企業(yè)用戶可以借此忽略不斷重復(fù)的那些數(shù)據(jù)，比如郵箱地址 、URL和IP地址。InfoBright還表示，建立在MySQL基礎(chǔ)之上的數(shù)據(jù)庫也提供了另外一種選擇，它專門針對分析應(yīng)用、低成本簡化勞動力工作、交付高性能的服務(wù)進(jìn)行設(shè)計。與此同時，它還支持如SAS，IBM SPSS使用的矩陣操作方法和R編程語言。Smart Analytic System提供了整合信息的DB2數(shù)據(jù)庫，預(yù)配置Cognos BI軟件模塊，可以在IBM Power System（RISC或者X86架構(gòu)）上運(yùn)行。它是首個新增Hadoop鏈接支持客戶管理關(guān)系型數(shù)據(jù)的產(chǎn)品之一，也是首個基于云部署風(fēng)險的產(chǎn)品平臺之一。該數(shù)據(jù)庫還支持大規(guī)模并行處理（MPP）。它已經(jīng)成為很多互聯(lián)網(wǎng)巨頭，比如AOL、eHarmony（美國在線約會網(wǎng)站）、易趣、Facebook、Twitter和Netflix大數(shù)據(jù)分析的主要解決方案。網(wǎng)絡(luò)點(diǎn)擊和社交媒體分析應(yīng)用，正在極大地推動應(yīng)用需求。支持大數(shù)據(jù)分析的EMC Appliance今年5月，EMC推出了自己的Hadoop軟件工具，而且該公司還承諾，今年秋季發(fā)布的模塊化DCA將支持Greenplum SQL/關(guān)系型數(shù)據(jù)庫，Hadoop部署也能在同樣的設(shè)備上得到支持。此外，惠普前段時間收購實(shí)時分析平臺Vertica、IBM獨(dú)立的基于DB2智能分析系統(tǒng)和Netezza的相關(guān)產(chǎn)品。在過去十幾年中，大規(guī)模并行處理（MPP）平臺和列存儲數(shù)據(jù)庫開啟了新一輪數(shù)據(jù)分析史上的革命。大數(shù)據(jù)分析迎來大時代全球各行各業(yè)的組織機(jī)構(gòu)已經(jīng)意識到，最準(zhǔn)確的商務(wù)決策來自于事實(shí)，而不是憑空臆想。評論(0)盤點(diǎn)大數(shù)據(jù)分析的十二大殺手锏分類：　　第三，數(shù)據(jù)分析員應(yīng)該具有說服力、激情、和演講能力。對于企業(yè)來說有效的溝通是及時采取行動應(yīng)對大數(shù)據(jù)新發(fā)現(xiàn)的關(guān)鍵。這里有20款數(shù)據(jù)可視化工具的鏈接。大數(shù)據(jù)的內(nèi)容大都來自于文本文件、新聞、社交媒體和報告、建議書等等。統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘可以很好的用于理解數(shù)據(jù)和發(fā)掘數(shù)據(jù)的價值?！　【哂惺炀毜臄?shù)據(jù)庫知識，特別是用到SQL語言的數(shù)據(jù)庫，像：HBase, CouchDB, 等等。數(shù)據(jù)分析員應(yīng)該具有大數(shù)據(jù)平臺應(yīng)用的全方位知識，這樣才能熟練的應(yīng)用數(shù)據(jù)平臺處理大數(shù)據(jù)?！　〈髷?shù)據(jù)的性質(zhì)是有他的三個特點(diǎn)（數(shù)據(jù)量大、種類多、處理速度快）決定的，數(shù)據(jù)分析的角色和作用理所當(dāng)然是由大數(shù)據(jù)的性質(zhì)決定的?！　?shù)據(jù)分析的職位是由DJ Patil和Jeff Hammerbacher制定的，他們試圖稱呼數(shù)據(jù)組的同事們，而又不想因?yàn)榉Q呼而限制他們的能力。大數(shù)據(jù)分析的三個技巧：03 來源：CIO時代網(wǎng)【文章摘要】大數(shù)據(jù)的性質(zhì)是有他的三個特點(diǎn)（數(shù)據(jù)量大、種類多、處理速度快）決定的，數(shù)據(jù)分析的角色和作用理所當(dāng)然是由大數(shù)據(jù)的性質(zhì)決定的。（because of improper job title like business analyst or research scientist Building Data Science Teams）　　隨著大數(shù)據(jù)在驅(qū)動企業(yè)成功中越來越有決定性作用，數(shù)據(jù)分析也變得越來越受歡迎。當(dāng)數(shù)據(jù)分析作用于大數(shù)據(jù)時，大數(shù)據(jù)必須身兼數(shù)職。數(shù)據(jù)分析元應(yīng)當(dāng)具有以下知識：　　了解大數(shù)據(jù)平臺的框架，例如：DFS和MapReduce，他們的編程框架提供強(qiáng)大的應(yīng)用程序設(shè)計。因?yàn)榇髷?shù)據(jù)平臺經(jīng)常需要數(shù)據(jù)庫來存儲和轉(zhuǎn)換數(shù)據(jù)。自然，為了成功數(shù)據(jù)分析者必須具備這些領(lǐng)域的專門知識。因此了解和掌握至少一種自然語言處理軟件或工具對于做一個成功的分析者起著決定性的作用?！　?chuàng)新——好奇　　隨著數(shù)據(jù)變化速度的加快，經(jīng)常也會有新的發(fā)現(xiàn)和問題出現(xiàn)，數(shù)據(jù)分析員應(yīng)該對那些變化敏感、對新發(fā)現(xiàn)好奇，并且找出應(yīng)對新問題的方法。數(shù)據(jù)分析員應(yīng)該是能 聯(lián)系所有，很好的溝通者。才能引導(dǎo)人們基于數(shù)據(jù)的發(fā)現(xiàn)做出正確的決定，讓人們相信新發(fā)現(xiàn)的價值。BI收藏這也就意味著，他們需要在內(nèi)部交易系統(tǒng)的歷史信息之外，采用基于數(shù)據(jù)分析的決策模型和技術(shù)支持。而且近年來技術(shù)不斷發(fā)展，我們開始看到，技術(shù)升級帶來的已知架構(gòu)之間的界限變得更加模糊。當(dāng)然，也有微軟的Parallel Data Warehouse、SAP旗下公司Sybase的Sybase IQ數(shù)據(jù)倉庫分析工具等。借助Hadoop，EMC能夠解決諸如網(wǎng)絡(luò)點(diǎn)擊數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)等真正大數(shù)據(jù)分析的困難。Hadoop提供的MapReduce（和其他一些環(huán)境）是處理大數(shù)據(jù)集理想解決方案。也有更多傳統(tǒng)的巨頭公司比如摩根大通銀行，也正在考慮采用這一解決方案。在收購之后，惠普隨即推出了基于x86硬件的HP Vertica。目前，Vertica支持惠普的云服務(wù)自動化解決方案。Smart Analytic System及NetezzaNetezza致力于為數(shù)字化營銷公司、電信、和其他挖掘成百上千TB甚至PB級別數(shù)據(jù)的公司，提供高可擴(kuò)展分析應(yīng)用的解決方案。IBM Netezza最近增加了一個高容量長期存檔設(shè)備以滿足更多要求。列存儲數(shù)據(jù)庫能夠自動創(chuàng)建索引，而且無需進(jìn)行數(shù)據(jù)分區(qū)和DBA調(diào)整。與此同時，公司還可以增加與呼叫記錄、業(yè)務(wù)交易或者地理位置信息相關(guān)的數(shù)據(jù)。Lakes能夠以低成本、10TB數(shù)據(jù)存儲和每個模塊48個運(yùn)算核心提供大容量存儲服務(wù)。該產(chǎn)品方案主要針對金融公司在算法交易或者其他高性能要求方面的需求。因此，WX2數(shù)據(jù)庫中任何一個維度的數(shù)據(jù)都可在內(nèi)存中用于快速分析。發(fā)布之初，雖然微軟官網(wǎng)提供有讓利折扣，但PDW售價仍超過13000美元/TB（用戶和硬件訪問量）。微軟在今年10月12日通過推出Apache Hadoop和相關(guān)的SQL Azure Hadoop服務(wù)，宣布進(jìn)入大數(shù)據(jù)領(lǐng)域。它既可應(yīng)用在任意事務(wù)環(huán)境中，也可以應(yīng)用在數(shù)據(jù)倉庫（但不能同時進(jìn)行）。SuperCluster支持全機(jī)架/半機(jī)架配置，而且用戶可以在半機(jī)架容量基礎(chǔ)上進(jìn)行擴(kuò)容。甲骨文的Exadata和Exalogic都基于x86架構(gòu)而且運(yùn)行Linux系統(tǒng)。該公式表示，其平臺支持一系列針對各種復(fù)雜、先進(jìn)應(yīng)用的工作負(fù)載報告和分析。此外， Table functions還支持MapReduce和廣泛應(yīng)用在金融服務(wù)的700多種分析技術(shù)。有報道說，它能提供比現(xiàn)有的IQ部署快12倍的交付能力。全共享的缺點(diǎn)是CPU會爭相訪問共享存儲（通常是SAN），而這會降低查詢性能。該公司的高性能、高容量產(chǎn)品被廣泛采用和復(fù)制，因?yàn)槠渲邪撕芏嗥髽I(yè)工作量管理的功能模塊，包括虛擬OLAP（三維立體式）分析模型 。Teradata平臺產(chǎn)品家族Teradata日前宣布了一項Aster Data MapReduce產(chǎn)品的計劃，它建立在以往產(chǎn)品同樣的硬件平臺之上，而且在Teradata和Aster Data之間新增了兩種集成方法。該服務(wù)支持一種提供“豐富而又高級的內(nèi)置分析功能”，其中包括有預(yù)測分析。IBM把大數(shù)據(jù)概括成了三個V，即大量化（Volume）、多樣化（Variety）和快速化（Velocity）。大數(shù)據(jù)費(fèi)埃哲（FICO）公司首席執(zhí)行官Will Lansing先生　　問：大數(shù)據(jù)對軟件和硬件都有非常強(qiáng)的挑戰(zhàn)，所以現(xiàn)在業(yè)界有一種趨勢，要做軟硬件結(jié)合，以更緊密的一體機(jī)形式來提供分析服務(wù)。目前，我們有一些合作方式是基于SaaS的，也有一些是基于其它各類解決方案的。我們知道，費(fèi)埃哲公司在金融領(lǐng)域有很深的積累。在保險行業(yè)當(dāng)中，某些欺詐的行為和在銀行業(yè)當(dāng)中的信用卡欺詐的用戶行為是非常類似的。但從一年前開始，費(fèi)埃哲就開始把我們成熟的技術(shù)推向保險領(lǐng)域，協(xié)助保險公司做理賠的反欺詐。但相對而言，這都是針對結(jié)構(gòu)化數(shù)據(jù)的，針對郵件、文本這些非結(jié)構(gòu)化的數(shù)據(jù)，費(fèi)埃哲公司將采用哪些解決方案去處理？　　答：大數(shù)據(jù)的定義當(dāng)中，包括3個V(高容量、高速度、多類型)。隨著基礎(chǔ)架構(gòu)不斷的完善和演進(jìn)，費(fèi)埃哲的解決方案也會發(fā)生變化?！　∥覀冊跀?shù)據(jù)流特征分析領(lǐng)域不斷推動創(chuàng)新，尤其在反欺詐領(lǐng)域。另一個由大數(shù)據(jù)帶來的變化是分析必須減少對于固有數(shù)據(jù)的依賴。自學(xué)習(xí)技術(shù)甚至將可能在某些領(lǐng)域取代傳統(tǒng)的模式。將“多層自我校對系統(tǒng)”與目前通用的技術(shù)相比，我們預(yù)見未來的分析技術(shù)將大幅提高。這種分析可能有兩種方式：一種是隨著數(shù)據(jù)集的不斷增加，我們需要重新建?！跀?shù)據(jù)集不斷增加的情況下，可能需要考慮應(yīng)用Hadoop技術(shù)進(jìn)行存儲，否則我們就沒有容量足夠大的存儲空間。顯然，這是今天的架構(gòu)無法完成的，這需要將來才可以實(shí)現(xiàn)?！　×硪环N模型就是一種不是基于假設(shè)的模型，確切地說，是一種機(jī)器學(xué)習(xí)的模型。對大數(shù)據(jù)來說，它能夠不斷的增加變量，幫助我們基于這些數(shù)據(jù)做出更好的決策，這是它特別有優(yōu)勢的一個地方。技術(shù)基礎(chǔ)：大數(shù)據(jù)分析技術(shù)的發(fā)展ZDNet 存儲系統(tǒng) 來源： 賽迪網(wǎng) 2012年05月16日 評論(0)關(guān)鍵詞： 大數(shù)據(jù) MapReduce Google本文摘要大數(shù)據(jù)分析技術(shù)最初起源于互聯(lián)網(wǎng)行業(yè)。大數(shù)據(jù)分析技術(shù)最初起源于互聯(lián)網(wǎng)行業(yè)。利用文件系統(tǒng)存放非結(jié)構(gòu)化數(shù)據(jù)，加上完善的備份和容災(zāi)策略，這套經(jīng)濟(jì)實(shí)惠的大數(shù)據(jù)解決方案與之前昂貴的企業(yè)小型機(jī)集群+商業(yè)數(shù)據(jù)庫方案相比，不僅沒有丟失性能，而且還贏在了可擴(kuò)展性上。而一旦需要擴(kuò)容，問題就會接踵而來。為了保證系統(tǒng)性能，我們不得不把舊硬件逐步替換掉，經(jīng)濟(jì)成本損失巨大。如今，我們用得更多的是Google MapReduce的開源實(shí)現(xiàn)，即Hadoop。隨之而來，NoSQL數(shù)據(jù)存儲模型開始風(fēng)行。典型的NoSQL數(shù)據(jù)存儲模型有文檔存儲、鍵值存儲、圖存儲、對象數(shù)據(jù)庫、列存儲等。如今，在開源社區(qū)，圍繞Google MapReduce框架，成長出了一批優(yōu)秀的開源項目。使用Storm實(shí)現(xiàn)實(shí)時大數(shù)據(jù)分析！實(shí)時Storm大數(shù)據(jù)摘要：隨著數(shù)據(jù)體積的越來越大，實(shí)時處理成為了許多機(jī)構(gòu)需要面對的首要挑戰(zhàn)。當(dāng)今世界，公司的日常運(yùn)營經(jīng)常會生成TB級別的數(shù)據(jù)。—— Twitter開發(fā)，通常被比作“實(shí)時的Hadoop”。我們想實(shí)現(xiàn)的功能是：實(shí)時分析過往車輛的數(shù)據(jù)，一旦車輛數(shù)據(jù)超過預(yù)設(shè)的臨界值 —— 便觸發(fā)一個trigger并把相關(guān)的數(shù)據(jù)存入數(shù)據(jù)庫。他同樣還有以下的這些特性： 盡管通常使用Java，Storm中的topology可以用任何語言設(shè)計。 將bin/directory解壓到你的PATH上，并保證bin/storm腳本是可執(zhí)行的。工作節(jié)點(diǎn)：工作節(jié)點(diǎn)同樣會運(yùn)行一個后臺程序 —— Supervisor，用于收聽工作指派并基于要求運(yùn)行工作進(jìn)程。而應(yīng)用程序?qū)崿F(xiàn)實(shí)時的邏輯則被封裝進(jìn)Storm中的“topology”。Spout分成可靠和不可靠兩種；當(dāng)Storm接收失敗時，可靠的Spout會對tuple（元組，數(shù)據(jù)項組成的列表）進(jìn)行重發(fā)；而不可靠的Spout不會考慮接收成功與否只發(fā)射一次。Bolt從Spout中接收數(shù)據(jù)并進(jìn)行處理，如果遇到復(fù)雜流的處理也可能將tuple發(fā)送給另一個Bolt進(jìn)行處理。這里有Storm提供的6個Stream Grouping類型：1. 隨機(jī)分組（Shuffle grouping）：隨機(jī)分發(fā)tuple到Bolt的任務(wù)，保證每個任務(wù)獲得相等數(shù)量的tuple。這種類型需要謹(jǐn)慎使用。目前，無分組等效于隨機(jī)分組。當(dāng)然還可以實(shí)現(xiàn)CustomStreamGroup