文章 2023-09-07 来自:开发者社区

聊聊 Kafka: Consumer 源码解析之 Rebalance 机制

一、前言我们上一篇分析了 Consumer 如何加入 Consumer Group,其实上一篇是一个很宏观的东西,主要讲 ConsumerCoordinator 怎么与 GroupCoordinator 通信。等等,老周,ConsumerCoordinator 和 GroupCoordinator 是个啥玩意?这两个组件分别是 Consumer、Kafka Broker 的协调器,说白了就是我们....

聊聊 Kafka: Consumer 源码解析之 Rebalance 机制
文章 2023-09-07 来自:开发者社区

聊聊 Kafka: Consumer 源码解析之 ConsumerNetworkClient

一、Consumer 的使用Consumer 的源码解析主要来看 KafkaConsumer,KafkaConsumer 是 Consumer 接口的实现类。KafkaConsumer 提供了一套封装良好的 API,开发人员可以基于这套 API 轻松实现从 Kafka 服务端拉取消息的功能,这样开发人员根本不用关心与 Kafka 服务端之间网络连接的管理、心跳检测、请求超时重试等底层操作,也不必....

聊聊 Kafka: Consumer 源码解析之 ConsumerNetworkClient
文章 2017-11-13 来自:开发者社区

Kafka consumer rebalance解析

线上使用Kafka0.72+Flume-ng 1.4的消息架构;流入到HDFS使用的Flume根据容量分析使用率太低了,决定从8个实例缩减到4个实例,在down实例的过程中的消息流入量per sec如下图: 这个Kafka的Topic共有10个partitions;在down实例的时候发生了一些抖动,不过是十分有规律并且可以预测的. kafka的rebalance assigment是固定的;.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等