云消息队列 Kafka 版源码解析的相关内容

文章 2023-12-29 来自：开发者社区

kafka源码解析——第一篇：producer

1.生产者代码import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clie....

文章 2023-09-07 来自：开发者社区

聊聊 Kafka： Consumer 源码解析之 Rebalance 机制

一、前言我们上一篇分析了 Consumer 如何加入 Consumer Group，其实上一篇是一个很宏观的东西，主要讲 ConsumerCoordinator 怎么与 GroupCoordinator 通信。等等，老周，ConsumerCoordinator 和 GroupCoordinator 是个啥玩意？这两个组件分别是 Consumer、Kafka Broker 的协调器，说白了就是我们....

文章 2023-09-07 来自：开发者社区

聊聊 Kafka： Consumer 源码解析之 ConsumerNetworkClient

一、Consumer 的使用Consumer 的源码解析主要来看 KafkaConsumer，KafkaConsumer 是 Consumer 接口的实现类。KafkaConsumer 提供了一套封装良好的 API，开发人员可以基于这套 API 轻松实现从 Kafka 服务端拉取消息的功能，这样开发人员根本不用关心与 Kafka 服务端之间网络连接的管理、心跳检测、请求超时重试等底层操作，也不必....

文章 2023-09-07 来自：开发者社区

聊聊 Kafka：Producer 源码解析

一、前言前面几篇我们讲了关于 Kafka 的基础架构以及搭建，从这篇开始我们就来源码分析一波。我们这用的 Kafka 版本是 2.7.0，其 Client 端是由 Java 实现，Server 端是由 Scala 来实现的，在使用 Kafka 时，Client 是用户最先接触到的部分，因此，我们从 Client 端开始，会先从 Producer 端开始，今天我们就来对 Producer 源码解析....

文章 2023-05-28 来自：开发者社区

Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析

概述【依赖】 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 【配置】#kafka spring.kafka.bootstr...

文章 2022-11-30 来自：开发者社区

Kafka 消费者之 findCoordinator源码解析

1在这里我们先来梳理一下consumeGroup的相关知识1、首先，我们会给每个consume设置groupId，对于相同groupId且订阅相同topic的consume，会组成consumeGroup，如图一所示2、对于Server端的topic来说，会有partition这个概念，如图二所示图二3、现在我们有多个consume及多个partition，到底由哪个consume来消费哪个pa....

文章 2022-02-15 来自：开发者社区

storm-kafka-0.8-plus 源码解析

准备，一些相关类 GlobalPartitionInformation (storm.kafka.trident) 记录partitionid和broker的关系 GlobalPartitionInformation info = new GlobalPartitionInformation(); info.addPartition(0, new Broker("10.1.110.24",90.....

文章 2021-12-28 来自：开发者社区

Kafka源码解析之SocketServer（下）

创建Data plane所需资源负责为Data plane创建所需资源执行流程最大连接数计数器将被用来确保没有配额超限的情形发生创建Processor线程池。对于Data plane而言，线程池的数量由Broker端参数num.network.threads决定将<监听器，Acceptor线程>对加入到Acceptor线程池统一管理比如配置listeners=PLAINTEXT://....

文章 2021-12-28 来自：开发者社区

Kafka源码解析之SocketServer（上）

为何要划分优先级Kafka处理请求不区分优先级，但这种绝对公平的策略有时会发生问题。比如：创建一个单分区双副本的主题，当时集群中的Broker A机器保存了分区的Leader副本，Broker B保存了Follower副本。突然业务激增，Broker A瞬间积压大量未处理PRODUCE请求。运维“不凑巧”执行了次Preferred Leader选举，将Broker B显式地调整成了Leader。....

文章 2021-12-23 来自：开发者社区

Kafka生产者消息发布模式源码解析

发送消息的流程Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里面kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费Consumer从kafka集群pull数据，并控制获取消息的offset1 同步发送模式源码2 异步发送模式源码流程3 总....