【正文】 敗時，可靠的Spout會對tuple（元組，數(shù)據(jù)項組成的列表）進行重發(fā)；而不可靠的Spout不會考慮接收成功與否只發(fā)射一次。下面對出現(xiàn)的術(shù)語進行更深刻的解析。而應(yīng)用程序?qū)崿F(xiàn)實時的邏輯則被封裝進Storm中的“topology”。而Nimbus和Supervisor之間的協(xié)調(diào)則通過Zookeeper系統(tǒng)或者集群。工作節(jié)點：工作節(jié)點同樣會運行一個后臺程序 —— Supervisor，用于收聽工作指派并基于要求運行工作進程。主節(jié)點：主節(jié)點通常運行一個后臺程序 —— Nimbus，用于響應(yīng)分布在集群中的節(jié)點，分配任務(wù)和監(jiān)測故障。 將bin/directory解壓到你的PATH上，并保證bin/storm腳本是可執(zhí)行的。需要通過以下幾個簡單的步驟： 盡管通常使用Java，Storm中的topology可以用任何語言設(shè)計。而在執(zhí)行中出現(xiàn)錯誤時，也會由Storm重新分配任務(wù)。對于擴展，你只需要添加機器和改變對應(yīng)的topology（拓?fù)洌┰O(shè)置。他同樣還有以下的這些特性：同Hadoop一樣Storm也可以處理大批量的數(shù)據(jù)，然而Storm在保證高可靠性的前提下還可以讓處理進行的更加實時；也就是說，所有的信息都會被處理。我們想實現(xiàn)的功能是：實時分析過往車輛的數(shù)據(jù)，一旦車輛數(shù)據(jù)超過預(yù)設(shè)的臨界值 —— 便觸發(fā)一個trigger并把相關(guān)的數(shù)據(jù)存入數(shù)據(jù)庫。Shruthi Kumar、Siddharth Patankar共同效力于Infosys，分別從事技術(shù)分析和研發(fā)工作。—— Twitter開發(fā)，通常被比作“實時的Hadoop”?？紤]到數(shù)據(jù)的生成量，實時處理成為了許多機構(gòu)需要面對的首要挑戰(zhàn)。當(dāng)今世界，公司的日常運營經(jīng)常會生成TB級別的數(shù)據(jù)。CSDN在此編譯、整理。使用Storm實現(xiàn)實時大數(shù)據(jù)分析！實時Storm大數(shù)據(jù)摘要：隨著數(shù)據(jù)體積的越來越大，實時處理成為了許多機構(gòu)需要面對的首要挑戰(zhàn)。這里借用Cloudera所描繪的架構(gòu)圖來展現(xiàn)Hadoop生態(tài)系統(tǒng)。如今，在開源社區(qū)，圍繞Google MapReduce框架，成長出了一批優(yōu)秀的開源項目。Bigtable是一種用于管理海量結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)，其數(shù)據(jù)通?？梢钥绯汕€節(jié)點進行分布式存儲，總數(shù)據(jù)量可達PB級（10的15次方字節(jié)，106GB）。典型的NoSQL數(shù)據(jù)存儲模型有文檔存儲、鍵值存儲、圖存儲、對象數(shù)據(jù)庫、列存儲等。其特點是：沒有固定的數(shù)據(jù)表模式、可以分布式和水平擴展。隨之而來，NoSQL數(shù)據(jù)存儲模型開始風(fēng)行。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫由于其規(guī)范的設(shè)計、友好的查詢語言、高效的數(shù)據(jù)處理在線事務(wù)的能力，長時間地占據(jù)了市場的主導(dǎo)地位。如今，我們用得更多的是Google MapReduce的開源實現(xiàn)，即Hadoop。而MapReduce+GFS框架，不受上述問題的困擾。為了保證系統(tǒng)性能，我們不得不把舊硬件逐步替換掉，經(jīng)濟成本損失巨大。而隨著硬件的更新，我們通常加入的新硬件都會強于已有的硬件。而一旦需要擴容，問題就會接踵而來。通常的方法是預(yù)估今后一段時期內(nèi)的業(yè)務(wù)量和數(shù)據(jù)量，加入多余的計算單元（CPU）和存儲，以備不時只需。利用文件系統(tǒng)存放非結(jié)構(gòu)化數(shù)據(jù)，加上完善的備份和容災(zāi)策略，這套經(jīng)濟實惠的大數(shù)據(jù)解決方案與之前昂貴的企業(yè)小型機集群+商業(yè)數(shù)據(jù)庫方案相比，不僅沒有丟失性能，而且還贏在了可擴展性上。這些大數(shù)據(jù)中蘊藏著大量可以用于增強用戶體驗、提高服務(wù)質(zhì)量和開發(fā)新型應(yīng)用的知識，而如何高效和準(zhǔn)確的發(fā)現(xiàn)這些知識就基本決定了各大互聯(lián)網(wǎng)公司在激烈競爭環(huán)境中的位置。大數(shù)據(jù)分析技術(shù)最初起源于互聯(lián)網(wǎng)行業(yè)。這些大數(shù)據(jù)中蘊藏著大量可以用于增強用戶體驗、提高服務(wù)質(zhì)量和開發(fā)新型應(yīng)用的知識，而如何高效和準(zhǔn)確的發(fā)現(xiàn)這些知識就基本決定了各大互聯(lián)網(wǎng)公司在激烈競爭環(huán)境中的位置。技術(shù)基礎(chǔ)：大數(shù)據(jù)分析技術(shù)的發(fā)展ZDNet 存儲系統(tǒng) 來源： 賽迪網(wǎng) 2012年05月16日 評論(0)關(guān)鍵詞： 大數(shù)據(jù) MapReduce Google本文摘要大數(shù)據(jù)分析技術(shù)最初起源于互聯(lián)網(wǎng)行業(yè)?！　枺涸诮鹑陬I(lǐng)域的機器學(xué)習(xí)應(yīng)該具有什么特性？　　答：以小額貸款的機器學(xué)習(xí)為例，這需要非?？焖儆^察和衡量，能夠迅速發(fā)現(xiàn)壞帳，這樣才能夠快速學(xué)習(xí)、調(diào)整。對大數(shù)據(jù)來說，它能夠不斷的增加變量，幫助我們基于這些數(shù)據(jù)做出更好的決策，這是它特別有優(yōu)勢的一個地方。我并不認(rèn)為這兩種模型可以相互替代?！　×硪环N模型就是一種不是基于假設(shè)的模型，確切地說，是一種機器學(xué)習(xí)的模型。大數(shù)據(jù)最美的地方，就是我們不再受數(shù)據(jù)容量的局限，它可以不斷的增加一些變量，然后增加價值，幫助我們做出更好的決策。顯然，這是今天的架構(gòu)無法完成的，這需要將來才可以實現(xiàn)?！　≈劣谟布男阅?，也許現(xiàn)在還不是問題，但當(dāng)我們考慮所有數(shù)據(jù)，并從中找出最有價值的地方時，用現(xiàn)有的基礎(chǔ)架構(gòu)就會顯得遠遠不夠。這種分析可能有兩種方式：一種是隨著數(shù)據(jù)集的不斷增加，我們需要重新建?！跀?shù)據(jù)集不斷增加的情況下，可能需要考慮應(yīng)用Hadoop技術(shù)進行存儲，否則我們就沒有容量足夠大的存儲空間。隨著硬件設(shè)備在性能和容量上不斷提升，還有必要對傳統(tǒng)分析技術(shù)進行大規(guī)模改進嗎？　　答：今天的大數(shù)據(jù)分析情況確實如你所說的這樣。將“多層自我校對系統(tǒng)”與目前通用的技術(shù)相比，我們預(yù)見未來的分析技術(shù)將大幅提高。已申請專利的“多層自我校正分析技術(shù)”的體系結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)模式類似，但與之不同的是新模式可以在數(shù)據(jù)流中自我校正。自學(xué)習(xí)技術(shù)甚至將可能在某些領(lǐng)域取代傳統(tǒng)的模式。為了應(yīng)對不斷增加的數(shù)據(jù)流中的動態(tài)數(shù)據(jù)，我們集中研發(fā)了自我學(xué)習(xí)的一些技術(shù)，包括：自適應(yīng)分析和自我矯正分析技術(shù)。另一個由大數(shù)據(jù)帶來的變化是分析必須減少對于固有數(shù)據(jù)的依賴。它可以自動發(fā)現(xiàn)銀行卡交易、ATM和商戶交易中的不正常行為?！　∥覀冊跀?shù)據(jù)流特征分析領(lǐng)域不斷推動創(chuàng)新，尤其在反欺詐領(lǐng)域。 “數(shù)據(jù)流”的分析對于FICO并不陌生，其中最好的應(yīng)用莫過于我們的反欺詐解決方案——FICO Falcon Fraud Manager。隨著基礎(chǔ)架構(gòu)不斷的完善和演進，費埃哲的解決方案也會發(fā)生變化。到目前為止，我們還是采用相對傳統(tǒng)的方式，將數(shù)據(jù)簡化到一個智能的、可操作的層面，然后基于這些數(shù)據(jù)來做出快速決策。但相對而言，這都是針對結(jié)構(gòu)化數(shù)據(jù)的，針對郵件、文本這些非結(jié)構(gòu)化的數(shù)據(jù)，費埃哲公司將采用哪些解決方案去處理？　　答：大數(shù)據(jù)的定義當(dāng)中，包括3個V(高容量、高速度、多類型)。因此，費埃哲在國內(nèi)的保險理賠反欺詐的案例就非常成功——客戶回訪時，他們表示，現(xiàn)在能夠通過數(shù)據(jù)分析，實時抓住大批量的理賠欺詐。但從一年前開始，費埃哲就開始把我們成熟的技術(shù)推向保險領(lǐng)域，協(xié)助保險公司做理賠的反欺詐。所以，我們在金融行業(yè)的客戶管理經(jīng)驗，也可以應(yīng)用到零售行業(yè)。在保險行業(yè)當(dāng)中，某些欺詐的行為和在銀行業(yè)當(dāng)中的信用卡欺詐的用戶行為是非常類似的。我們公司非常擅長分析一些復(fù)雜、困難的問題，這些分析技巧不僅適用于金融行業(yè)，也適用于其他多個行業(yè)。我們知道，費埃哲公司在金融領(lǐng)域有很深的積累。實際上，費埃哲公司也在和一些實驗室合作，例如Cloudera，借此來拓展我們的能力，消除我們(對硬件基礎(chǔ)設(shè)施在理解上)的局限性。目前，我們有一些合作方式是基于SaaS的，也有一些是基于其它各類解決方案的。那么，您是如何看待這一趨勢？費埃哲公司會如何更好地與硬件進行優(yōu)化整合？　　答：這是一個非常好的問題。費埃哲（FICO）公司首席執(zhí)行官Will Lansing先生　　問：大數(shù)據(jù)對軟件和硬件都有非常強的挑戰(zhàn)，所以現(xiàn)在業(yè)界有一種趨勢，要做軟硬件結(jié)合，以更緊密的一體機形式來提供分析服務(wù)。目前，費埃哲公司的Falcon解決方案在幫助客戶監(jiān)控全球2/3的信用卡交易，并從中辨別欺詐活動。大數(shù)據(jù)業(yè)界比較一致對大數(shù)據(jù)的定義是：大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。IBM把大數(shù)據(jù)概括成了三個V，即大量化（Volume）、多樣化（Variety）和快速化（Velocity）。1010data提供基于云計算大數(shù)據(jù)分析其客戶包括有對沖基金、全球各大銀行、證券交易商，零售商和包裝消費品公司。該服務(wù)支持一種提供“豐富而又高級的內(nèi)置分析功能”，其中包括有預(yù)測分析。正如標(biāo)題所說，1010data能夠提供基于云計算的大數(shù)據(jù)分析平臺。Teradata平臺產(chǎn)品家族Teradata日前宣布了一項Aster Data MapReduce產(chǎn)品的計劃，它建立在以往產(chǎn)品同樣的硬件平臺之上，而且在Teradata和Aster Data之間新增了兩種集成方法。這也就是為什么該公司要收購Aster Data——一家提供SQLMapReduce框架的公司。該公司的高性能、高容量產(chǎn)品被廣泛采用和復(fù)制，因為其中包括了很多企業(yè)工作量管理的功能模塊，包括虛擬OLAP（三維立體式）分析模型 。所以，我們可以對某個特定的查詢盡可能多（或者少）地分配計算資源。全共享的缺點是CPU會爭相訪問共享存儲（通常是SAN），而這會降低查詢性能。為了確保實現(xiàn)最快速度的查詢，PlexQ包含了一個邏輯服務(wù)器——讓管理員對PlexQ網(wǎng)格的物理服務(wù)器組成虛擬群集，以便優(yōu)化分析工作負(fù)載、用戶需求和應(yīng)用程序。有報道說，它能提供比現(xiàn)有的IQ部署快12倍的交付能力。今年夏天推出了Sybase IQ ，該版本產(chǎn)品能夠處理更多數(shù)據(jù)和更多數(shù)據(jù)類型，也能勝任更多查詢，當(dāng)然這主要得益于其包含了一個名叫PlexQ 的大規(guī)模并行處理功能。此外， Table functions還支持MapReduce和廣泛應(yīng)用在金融服務(wù)的700多種分析技術(shù)。Table functions被用來傳送和接收第三方和采用C、C++等編寫的定制算法的數(shù)據(jù)結(jié)果。該公式表示，其平臺支持一系列針對各種復(fù)雜、先進應(yīng)用的工作負(fù)載報告和分析。甲骨文也計劃推出一個獨立的基于開源BerkeleyDB產(chǎn)品的NoSQL。甲骨文的Exadata和Exalogic都基于x86架構(gòu)而且運行Linux系統(tǒng)。甲骨文大數(shù)據(jù)分析系統(tǒng)設(shè)施甲骨文聲稱，SuperCluster事務(wù)處理和數(shù)據(jù)倉庫性能相比傳統(tǒng)服務(wù)器架構(gòu)能分別帶來10倍和50倍速度提升。SuperCluster支持全機架/半機架配置，而且用戶可以在半機架容量基礎(chǔ)上進行擴容。甲骨文在9月通過宣布Oracle SuperCluster（圖中右側(cè)），擴展了engineered systems產(chǎn)品家族。它既可應(yīng)用在任意事務(wù)環(huán)境中，也可以應(yīng)用在數(shù)據(jù)倉庫（但不能同時進行）。 Systems的故事甲骨文表示，Exadata（圖中左側(cè)）是迄今以來發(fā)布的產(chǎn)品中最為成功的產(chǎn)品，自從2008年推出以來，已經(jīng)擁有超過1000名客戶。微軟在今年10月12日通過推出Apache Hadoop和相關(guān)的SQL Azure Hadoop服務(wù)，宣布進入大數(shù)據(jù)領(lǐng)域。目前，微軟寄希望于其整體數(shù)據(jù)庫平臺在市場上帶來的差異化競爭力。發(fā)布之初，雖然微軟官網(wǎng)提供有讓利折扣，但PDW售價仍超過13000美元/TB（用戶和硬件訪問量）。 Server新增PDW功能今年年初微軟發(fā)布的SQL Server R2 Parallel Data Warehouse（PDW，并行數(shù)據(jù)倉庫），一改以往SQL Server部署時間需要花 費兩年半時間的歷史，它可以幫助客戶擴展部署數(shù)百TB級別數(shù)據(jù)的分析解決方案。因此，WX2數(shù)據(jù)庫中任何一個維度的數(shù)據(jù)都可在內(nèi)存中用于快速分析。它提供了靈活的、為企業(yè)用戶進行分析的解決方案。該產(chǎn)品方案主要針對金融公司在算法交易或者其他高性能要求方面的需求。Rivers則提供了容量和速度之間的平衡，它的每個模塊擁有48個運算核心。Lakes能夠以低成本、10TB數(shù)據(jù)存儲和每個模塊48個運算核心提