【正文】 安全的建議是當(dāng)完成遷移之后就關(guān)閉這個(gè)選項(xiàng)range在“range”和“roundrobin”策略之間選擇一種作為分配partitions給consumer 數(shù)據(jù)流的策略； 循環(huán)的partition分配器分配所有可用的partitions以及所有可用consumer 線程。它會將partition循環(huán)的分配到consumer線程上。如果所有consumer實(shí)例的訂閱都是確定的，則partitions的劃分是確定的分布。循環(huán)分配策略只有在以下條件滿足時(shí)才可以：（1）每個(gè)topic在每個(gè)consumer實(shí)力上都有同樣數(shù)量的數(shù)據(jù)流。（2）訂閱的topic的集合對于consumer group中每個(gè)consumer實(shí)例來說都是確定的。更多細(xì)節(jié)可以查看 scala類： 樣例代碼Producer具體參看附件Consumer創(chuàng)建配置創(chuàng)建Consumer對象創(chuàng)建KafakaStream對象讀取消息具體參看附件生產(chǎn)者均衡 producer將會和Topic下所有partition leader保持socket連接。消息由producer直接通過socket發(fā)送到broker,中間不會經(jīng)過任何路由層.事實(shí)上,消息被路由到哪個(gè)partition上,randomkeyhash輪詢等,如果一個(gè)topic中有多個(gè)partitions,可以在producer端實(shí)現(xiàn)消息均衡分發(fā). 異步發(fā)送：將多條消息暫且在客戶端buffer起來，并將他們批量的發(fā)送到broker，小數(shù)據(jù)IO太多，會拖慢整體的網(wǎng)絡(luò)延遲，批量延遲發(fā)送事實(shí)上提升了網(wǎng)絡(luò)效率。不過這也有一定的隱患，比如說當(dāng)producer失效時(shí)，那些尚未發(fā)送的消息將會丟失。監(jiān)控 yahoo為了簡化開發(fā)者和服務(wù)工程師維護(hù)Kafka集群的工作，構(gòu)建了一個(gè)叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。這個(gè)管理工具可以很容易地發(fā)現(xiàn)分布在集群中的哪些topic分布不均勻，或者是分區(qū)在整個(gè)集群分布不均勻的的情況。通過Kafka Manager用戶能夠更容易地發(fā)現(xiàn)集群中哪些主題或者分區(qū)分布不均勻，同時(shí)能夠管理多個(gè)集群，能夠更容易地檢查集群的狀態(tài)，能夠創(chuàng)建主題，執(zhí)行首選的副本選擇，能夠基于集群當(dāng)前的狀態(tài)生成分區(qū)分配，并基于生成的分配執(zhí)行分區(qū)的重分配，此外，Kafka Manager還是一個(gè)非常好的可以快速查看集群狀態(tài)的工具。該軟件是用Scala語言編寫的。yahoo已經(jīng)開源了Kafka Manager工具。這款Kafka集群管理工具主要支持以下幾個(gè)功能：　　管理幾個(gè)不同的集群；　　很容易地檢查集群的狀態(tài)(topics, brokers, 副本的分布, 分區(qū)的分布)；　　選擇副本；　　產(chǎn)生分區(qū)分配(Generate partition assignments)基于集群的當(dāng)前狀態(tài)；　　重新分配分區(qū)。支持kafka 。標(biāo)記刪除的分區(qū)的主題（+）批量產(chǎn)生分區(qū)分配為多個(gè)Topic批量執(zhí)行重新分配分區(qū)為個(gè)Topic為已存在的Tpic增加分區(qū)。1選擇是否啟用JMX輪詢代理和Topic的度量編譯安裝kafka Manager的過程安裝sbt sbt是scala的打包構(gòu)建工具。編譯kafka Manager之前需要安裝sbt，下載地址： 我本地用的是windows版，執(zhí)行安裝文件就可以。下載kafka Manager編譯 kafka Manager是從github下載下來的，windows下先安裝個(gè)git環(huán)境，git的環(huán)境安裝這里就不介紹了。 在git的bash下，執(zhí)行以下命令：git clone kafka Manager將會拷貝到本地目錄內(nèi)。 在windows的命令行下，進(jìn)入kafkamanager的主目錄： cd kafkamanager 執(zhí)行以下命令： sbt clean dist sbt在編譯的時(shí)候會通過ivy下載很多依賴包，網(wǎng)絡(luò)不好的情況下往往會很長時(shí)間，而且很有可能下載不成功。我本地就一直沒有下載成功過，通過在國外vps上執(zhí)行sbt，將依賴包下載到vps上，然后再打包ftp下載到本地，覆蓋本地的ivy cache，通過這種方式實(shí)現(xiàn)kafka manager的完成編譯。運(yùn)行kafka Manager Kafka Manager編譯打包后的，生成的打包文件在target\universal目錄下，目錄下有個(gè)zip文件，這個(gè)文件就是kafka Manager編譯打包后的可運(yùn)行包。將zip文件拷貝到linux下。執(zhí)行uzip，進(jìn)行解壓縮。進(jìn)入kafka Manager目錄，=kafkamanagerzookeeper:2181為真是的zookeeper的地址。保存 進(jìn)入bin目錄下執(zhí)行命令：../kafkamanager =../conf/ 如果命令不能執(zhí)行，請先給文件授權(quán)：.chmod 777 kafkamanager 打開瀏覽器輸入:9000，即可進(jìn)入kafka manager的管理頁面。填寫集群名字，zk的地址和端口，選擇kafka的版本。然后保存。這里可以看到集群的Topic數(shù)量和Brokers的數(shù)據(jù)。點(diǎn)擊數(shù)據(jù)可以看詳細(xì)信息。 在Topic列表，可以點(diǎn)擊某個(gè)topic，查看詳細(xì)。 用kafka Manager可以用很多維護(hù)kafka的操作，如刪除Topic、增加Partition、重新分配Partition、Jmx監(jiān)控等。擴(kuò)展集群 將新的kafka 服務(wù)器假如到集群中是相當(dāng)簡單的。但是這些新加入的服務(wù)器不會自動分配任何數(shù)據(jù)partition，除非現(xiàn)有的partition遷移到新的服務(wù)器上，否則新加入的服務(wù)器是不起作用的，直到新的Topic被創(chuàng)建。所以通常當(dāng)你增加新的服務(wù)器到集群中的時(shí)候，你需要遷移存在的數(shù)據(jù)到新的服務(wù)器上。 遷移數(shù)據(jù)是一個(gè)手工初始化全程自動化的過程，kafka將會在新的服務(wù)器上創(chuàng)建一個(gè)follwer，并且允許完全復(fù)制partition上存在的數(shù)據(jù)。當(dāng)新的服務(wù)器完全復(fù)制了partion的內(nèi)容并加入到同步復(fù)制，之前存在的replicas將會刪除他們的數(shù)據(jù)。 Partition重新分配工具能夠跨broker遷移。，重新分配工具還不能自動獲得分布且計(jì)算出如何移動。因此管理員需要手工指出那個(gè)topic那個(gè)partition應(yīng)該如何移動。 Partition重新分配工具有三種運(yùn)行模式：a) generate:對指定的topics移動所有的partition到新的brokersb) execute: 指定reassignmentjsonfile用自定義的重新分配方案c) verify: 確認(rèn)最后一個(gè)execute的所有Partition的重新分配狀態(tài)Partition和Relicas擴(kuò)展 官方網(wǎng)站上說kafka只支持partitions的增加，不支持Relicas的修改，但我通過下面的操作實(shí)現(xiàn)了即擴(kuò)展partition，又實(shí)現(xiàn)了Relicas，需要進(jìn)一步驗(yàn)證。以對replicated3partitions3topic操作為例，對集群增加一個(gè)broker為3的服務(wù)器，則集群中有四個(gè)broker了,原始replicated3partitions3topic狀態(tài)下面的步驟對replicated3partitions3topic進(jìn)行擴(kuò)展： 擴(kuò)展Partition ../ zookeeper :2181 alter topic replicated3partitions3topic –partitions 4執(zhí)行命令后，查看狀態(tài)如下 使用重新分配工具，創(chuàng)建重新分配json文件 Vim 執(zhí)行重新分配 ./ zookeeper :2181 reassignmentjsonfile expand execute查看執(zhí)行分配的結(jié)果 ../ zookeeper :2181 reassignmentjsonfile –verify 再次查看replicated3partitions3topic的狀態(tài)Producer平滑擴(kuò)展 Producer在啟動的時(shí)候，會手工配置初始化連接，集群擴(kuò)展后，增加新的broker，Producer是怎么擴(kuò)展到新的broker進(jìn)行連接的呢。以新的Producer API為例，Producer封裝了集群的擴(kuò)展。 Producer在接收到Broker的返回后，會找到新的Cluster的信息，并更新到發(fā)送線程中。進(jìn)一步需要考慮的問題消息的有序性 同一個(gè)Topic 內(nèi)同一個(gè)Partition能保證有序性，因此有需要保證有序的場景，注意使用帶有一個(gè)partition的Topic。消息的過濾Offset與消息回溯比較RocketMQ優(yōu)缺點(diǎn)可靠性 RocketMQ支持異步實(shí)時(shí)刷盤，同步刷盤，同步Replication，異步Replication Kafka使用異步刷盤方式，異步Replication性能對比 Kafka單機(jī)寫入TPS約在百萬條/秒，消息大小10個(gè)字節(jié) RocketMQ單機(jī)寫入TPS單實(shí)例約7萬條/秒，單機(jī)部署3個(gè)Broker，可以跑到最高12萬條/秒，消息大小10個(gè)字節(jié)消息投遞實(shí)時(shí)性 Kafka使用短輪詢方式，實(shí)時(shí)性取決于輪詢間隔時(shí)間 RocketMQ使用長輪詢，同Push方式實(shí)時(shí)性一致，消息的投遞延時(shí)通常在幾個(gè)毫秒。消費(fèi)失敗重試 Kafka消費(fèi)失敗不支持重試 RocketMQ消費(fèi)失敗支持定時(shí)重試，每次重試間隔時(shí)間順延嚴(yán)格的消息順序 Kafka支持消息順序，但是一臺Broker宕機(jī)后，就會產(chǎn)生消息亂序。不同的Partition，不能保證消息的順序。 RocketMQ支持嚴(yán)格的消息順序，在順序消息場景下，一臺Broker宕機(jī)后，發(fā)送消息會失敗，但是不會亂序定時(shí)消息 Kafka不支持定時(shí)消息 RocketMQ支持兩類定時(shí)消息o 開源版本RocketMQ僅支持定時(shí)Levelo 阿里云ONS支持定時(shí)Level，以及指定的毫秒級別的延時(shí)時(shí)間分布式事務(wù)消息 Kafka不支持分布式事務(wù)消息 阿里云ONS支持分布式定時(shí)消息，未來開源版本的RocketMQ也有計(jì)劃支持分布式事務(wù)消息消息查詢 Kafka不支持消息查詢 RocketMQ支持根據(jù)Message Id查詢消息，也支持根據(jù)消息內(nèi)容查詢消息（發(fā)送消息時(shí)指定一個(gè)Message Key，任意字符串，例如指定為訂單Id）消息回溯 Kafka理論上可以按照Offset來回溯消息 RocketMQ支持按照時(shí)間來回溯消息，精度毫秒，例如從一天之前的某時(shí)某分某秒開始重新消費(fèi)消息消息軌跡 Kafka不支持消息軌跡 阿里云ONS支持消息軌跡Broker端消息過濾 Kafka不支持Broker端的消息過濾 RocketMQ支持兩種Broker端消息過濾方式o 根據(jù)Message Tag來過濾，相當(dāng)于子topic概念o 向服務(wù)器上傳一段Java代碼，可以對消息做任意形式的過濾，甚至可以做Message Body的過濾拆分。成熟度 Kafka在日志領(lǐng)域比較成熟 RocketMQ在阿里集團(tuán)內(nèi)部有大量的應(yīng)用在使用，每天都產(chǎn)生海量的消息，并且順利支持了多次天貓雙十一海量消息考驗(yàn)，是數(shù)據(jù)削峰填谷的利器。1. 若不給自己設(shè)限，則人生中就沒有限制你發(fā)揮的藩籬。2. 若不是心寬似海，哪有人生風(fēng)平浪靜。在紛雜的塵世里，為自己留下一片純靜的心靈空間，不管是潮起潮落，也不管是陰晴圓缺，你都可以免去浮躁，義無反顧，勇往直前，輕松自如地走好人生路上的每一步3. 花一些時(shí)間，總會看清一些事。用一些事情，總會看清一些人。有時(shí)候覺得自己像個(gè)神經(jīng)病。既糾結(jié)了自己，又打擾了別人。努力過后，才知道許多事情，堅(jiān)持堅(jiān)持，就過來了。4. 歲月是無情的，假如你丟給它的是一片空白，它還給你的也是一片空白。歲月是有情的，假如你奉獻(xiàn)給她的是一些色彩，它奉獻(xiàn)給你的也是一些色彩。你必須努力，當(dāng)有一天驀然回首時(shí)，你的回憶里才會多一些色彩斑斕，少一些蒼白無力。只有你自己才能把歲月描畫成一幅難以忘懷的人生畫卷。