阿里云文档 2025-06-04

将PolarDB PostgreSQL版(兼容Oracle)同步到Kafka

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将PolarDB PostgreSQL版(兼容Oracle)集群的数据同步至阿里云消息队列Kafka版。

阿里云文档 2024-11-27

使用Cluster Linking复制Kafka集群数据

Cluster Linking是Confluent Platform提供的一种功能,用于将多个Kafka集群连接在一起。该功能允许不同的Kafka集群之间进行数据的镜像和复制。Cluster Linking将在数据目标(Destination)集群启动,并复制数据源(Source)集群的数据到目标集群。本文将向您介绍如何使用云消息队列 Confluent 版的Cluster Linking。主要包...

阿里云文档 2024-09-20

基于eRDMA部署高网络性能的Kafka集群

基于支持eRDMA能力的ECS实例部署Kafka集群,可以充分利用eRDMA提供的低延迟、高吞吐量以及低CPU占用等特性,以优化Kafka集群内部节点间的数据传输效率,适用于对消息吞吐量和时延要求较高的应用场景。本文介绍如何基于支持eRDMA能力的ECS实例部署Kafka集群,并测试eRDMA对Kafka性能的提升效果。

文章 2024-08-24 来自:开发者社区

【Kafka节点存活大揭秘】如何让Kafka集群时刻保持“心跳”?探索Broker、Producer和Consumer的生死关头!

在分布式系统中,检测节点的存活状态是一项至关重要的任务。对于Apache Kafka这样的高吞吐量、分布式消息系统而言,及时准确地识别出故障或不可达的节点有助于维护系统的正常运行和高可用性。本文将深入探讨Kafka如何判断一个节点是否仍在健康运行。 Kafka节点的角色: 在开始之前,我们首先需要了解Kafka节点的几个基本角色࿱...

阿里云文档 2024-06-13

Confluent集群迁移教程

当您需要把Topic从一个Confluent集群迁移至另一个集群时,阿里云提供两种迁移方案:迁移操作和数据迁移。迁移操作适用于消息保留较少的场景,操作简单;数据迁移使用ClusterLink做数据迁移,由阿里云技术支持提供远程协助,适用于数据重要,消息保留时间长、需要将数据迁移到新的集群上的场景。

问答 2024-05-23 来自:开发者社区

Kafka中的节点(Broker)和集群是如何工作的?

Kafka中的节点(Broker)和集群是如何工作的?

阿里云文档 2024-03-18

Confluent集群网络访问与安全设置

本文介绍如何进行云消息队列 Confluent 版集群的网络访问与安全设置。

文章 2024-03-14 来自:开发者社区

Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)

我使用的安装文件是 kafka_2.11-2.4.1.tgz ,以下内容均以此版本进行说明。zookeeper集群也是伪集群,zk的伪集群搭建方法可参考《Zookeeper-3.6.0 伪集群版 搭建指南》。 1 安装kafka 之前有单机版的铺垫《kafka_2.11-2.4.1 单机版安装指南》,这里省略部分说直接开装,也可参考官网《k...

文章 2022-06-07 来自:开发者社区

Kafka节点万兆网卡打满,揭晓集群安然无恙的秘诀!!!

1、业务场景介绍数据同步的业务流程简化如下:通过数据同步组件,通过订阅MySQL数据库的binlog日志,将订单数据先写入到kafka集群,然后下游系统根据不同的业务处理逻辑,订阅该主题,进行对应的下游业务处理。某一天,我们通过业务监控监测出某一段时间菜鸟这边订单异常,几乎下降到0,持续半个小时左右后订单流量突增,是往常的10倍,此时Kafka集群各个节点的流量将网卡打满,达到了10G,如下图所....

Kafka节点万兆网卡打满,揭晓集群安然无恙的秘诀!!!
文章 2017-11-21 来自:开发者社区

kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载、安装和配置(图文详细教程)绝对干货

运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。   单机模式,用的是kafka自带的zookeeper,   分布式模式,用的是外部安装的zookeeper,即公共的zookeeper。 见博客   4 kafka集群部署及生产者java客户端编程 + kaf...

kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载、安装和配置(图文详细教程)绝对干货

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注