大數(shù)據(jù)職業(yè)發(fā)展方向-資料下載頁
2025-06-26 20:57本頁面
【正文】 可以使用各種編程語言。你可以在Storm之上使用各種編程語言。默認支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實現(xiàn)一個簡單的Storm通信協(xié)議即可。3）容錯性。Storm會管理工作進程和節(jié)點的故障。4）水平擴展。計算是在多個線程、進程和服務(wù)器之間并行進行的。5）可靠的消息處理。Storm保證每個消息至少能得到一次完整處理。任務(wù)失敗時，它會負責從消息源重試消息。6）快速。系統(tǒng)的設(shè)計保證了消息能得到快速的處理，使用216。MQ作為其底層消息隊列。7）本地模式。Storm有一個“本地模式”，可以在處理過程中完全模擬Storm集群。這讓你可以快速進行開發(fā)和單元測試。 缺 點：1）單調(diào)乏味性； 2）脆弱性； 3）可伸縮性差； 使用性：Storm有許多應(yīng)用領(lǐng)域，包括實時分析、在線機器學習、信息流處理、連續(xù)性的計算、分布式RPC、ETL等。 術(shù) 語：Storm的術(shù)語包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。 同 品：可以和Storm相提并論的系統(tǒng)有Esper、Streambase、HStreaming和Yahoo S4。其中和Storm最接近的就是S4。ScalaScala是一門多范式的編程語言，一種類似java的編程語言，設(shè)計初衷是實現(xiàn)可伸縮的語言、并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。 類 型：編程語言 特 性：1）面向?qū)ο箫L格； 2）函數(shù)式風格； 3）更高層的并發(fā)模式； 4）輕量級的函數(shù)語法——高階、嵌套、局部套用（Currying）、匿名； 5）與XML集成——可在Scala程序中直接書寫XML；可將XML轉(zhuǎn)換成Scala類； 6）與JAV無縫的互操作；KafkaMQ Kafka MQ是一個高吞吐量分布式消息系統(tǒng)。Kafka就跟這個名字一樣，設(shè)計非常獨特。 性 質(zhì)：高吞吐量分布式消息系統(tǒng)；架 構(gòu)：消息的持久化和緩存；特 性：1）通過O(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對于即使數(shù)以TB的消息存儲也能夠保持長時間的穩(wěn)定性能。2）高吞吐量：即使是非常普通的硬件，也可以支持每秒數(shù)十萬的消息。3）支持通過kafka服務(wù)器和消費機集群來分區(qū)消息。4）支持Hadoop并行數(shù)據(jù)加載。 目 的：提供一個發(fā)布訂閱解決方案，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。 這種動作（網(wǎng)頁瀏覽，搜索和其他用戶的行動）是在現(xiàn)代網(wǎng)絡(luò)上的許多社會功能的一個關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 設(shè)計理念：持久化消息、高吞吐量、consumer決定消息狀態(tài)、系統(tǒng)中各個角色都是分布式集群、consumer有邏輯組的概念。 Spark Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法?；? 于：MapReduce算法實現(xiàn)的分布式計算特 點：1）自動容錯 2）位置感 專業(yè)整理分享
物理相關(guān)推薦
鄂ICP備17016276號-1