文章 2023-12-29 来自:开发者社区

kafka源码解析——第一篇:producer

1.生产者代码import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clie....

kafka源码解析——第一篇:producer
文章 2023-09-07 来自:开发者社区

聊聊 Kafka: Consumer 源码解析之 poll 模型

一、前言前面的 Kafka 系列文章,我们讲过一篇:聊聊 Kafka:Consumer 源码解析之 ConsumerNetworkClient,那一篇主要讲的是 KafkaConsumer 类以及这个类里最重要的一个属性类 ConsumerNetworkClient。那这一篇我们来讲一下 KafkaConsumer 是怎么去拉取消息的,也就是本篇的的 Poll 的网络模型。二、Consumer ....

聊聊 Kafka: Consumer 源码解析之 poll 模型
文章 2023-09-07 来自:开发者社区

聊聊 Kafka: Consumer 源码解析之 Consumer 如何加入 Consumer Group

一、前言今天这一篇我们来说一下 Consumer 是如何加入 Consumer Group 的,我们前面有一篇 Kafka 的架构文章有说到,Consumer 有消费组(Consumer Group)的概念,而 Producer 没有生产组的概念。所以说 Consumer 侧会比 Producer 侧复杂点,除了消费者有消费组的概念,还需要维护管理 offset 偏移量、重复消费等问题。与消费组....

聊聊 Kafka: Consumer 源码解析之 Consumer 如何加入 Consumer Group
文章 2023-09-07 来自:开发者社区

聊聊 Kafka: Consumer 源码解析之 Rebalance 机制

一、前言我们上一篇分析了 Consumer 如何加入 Consumer Group,其实上一篇是一个很宏观的东西,主要讲 ConsumerCoordinator 怎么与 GroupCoordinator 通信。等等,老周,ConsumerCoordinator 和 GroupCoordinator 是个啥玩意?这两个组件分别是 Consumer、Kafka Broker 的协调器,说白了就是我们....

聊聊 Kafka: Consumer 源码解析之 Rebalance 机制
文章 2023-09-07 来自:开发者社区

聊聊 Kafka: Consumer 源码解析之 ConsumerNetworkClient

一、Consumer 的使用Consumer 的源码解析主要来看 KafkaConsumer,KafkaConsumer 是 Consumer 接口的实现类。KafkaConsumer 提供了一套封装良好的 API,开发人员可以基于这套 API 轻松实现从 Kafka 服务端拉取消息的功能,这样开发人员根本不用关心与 Kafka 服务端之间网络连接的管理、心跳检测、请求超时重试等底层操作,也不必....

聊聊 Kafka: Consumer 源码解析之 ConsumerNetworkClient
文章 2023-09-07 来自:开发者社区

聊聊 Kafka:Producer 源码解析

一、前言前面几篇我们讲了关于 Kafka 的基础架构以及搭建,从这篇开始我们就来源码分析一波。我们这用的 Kafka 版本是 2.7.0,其 Client 端是由 Java 实现,Server 端是由 Scala 来实现的,在使用 Kafka 时,Client 是用户最先接触到的部分,因此,我们从 Client 端开始,会先从 Producer 端开始,今天我们就来对 Producer 源码解析....

聊聊 Kafka:Producer 源码解析
文章 2023-05-28 来自:开发者社区

Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析

概述【依赖】 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 【配置】#kafka spring.kafka.bootstr...

Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析
文章 2022-11-30 来自:开发者社区

Kafka 消费者之 findCoordinator源码解析

1在这里我们先来梳理一下consumeGroup的相关知识1、首先,我们会给每个consume设置groupId,对于相同groupId且订阅相同topic的consume,会组成consumeGroup,如图一所示2、对于Server端的topic来说,会有partition这个概念,如图二所示图二3、现在我们有多个consume及多个partition,到底由哪个consume来消费哪个pa....

Kafka 消费者之 findCoordinator源码解析
文章 2022-02-17 来自:开发者社区

Kafka生产者消息发布模式源码解析

发送消息的流程Producer根据指定的partition方法(round-robin、hash等),将消息发布到指定topic的partition里面kafka集群接收到Producer发过来的消息后,将其持久化到硬盘,并保留消息指定时长(可配置),而不关注消息是否被消费Consumer从kafka集群pull数据,并控制获取消息的offset1 同步发送模式源码2 异步发送模式源码流程3 总....

Kafka生产者消息发布模式源码解析
文章 2022-02-17 来自:开发者社区

Kafka分区、组消费模式源码解析

1 分区消费模式直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据,服务器接受到客户端的RPC请求后,将数据构造成RPC响应,返回给客户端,客户端解析相应的RPC响应获取数据。Kafka支持的协议众多,使用比较重要的有:获取消息的FetchRequest和FetchResponse获取offset的OffsetRequest和OffsetResponse提交off....

Kafka分区、组消费模式源码解析

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问