streaming云消息队列 Kafka 版数据的相关内容

阿里云文档 2025-05-28

如何配置Kafka输出组件用于向数据源写入数据

Kafka输出组件可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。

阿里云文档 2024-12-04

将MQTT数据路由至Kafka

本文介绍如何在云消息队列 MQTT 版控制台创建流出目标为云消息队列 Kafka 版的消息流出任务。

阿里云文档 2024-11-27

Cluster Linking是Confluent Platform提供的一种功能，用于将多个Kafka集群连接在一起。该功能允许不同的Kafka集群之间进行数据的镜像和复制。Cluster Linking将在数据目标（Destination）集群启动，并复制数据源（Source）集群的数据到目标集群。本文将向您介绍如何使用云消息队列 Confluent 版的Cluster Linking。主要包...

问答 2024-06-17 来自：开发者社区

Spark Structured Streaming 和 Kafka 在数据完整性推理上有何不足？

Spark Structured Streaming 和 Kafka Streams 在数据完整性推理上有何不足？

阿里云文档 2024-03-18

使用Confluent Replicator复制数据

Kafka MirrorMaker是一款用于在两个Apache Kafka集群之间复制数据的独立工具。它将Kafka消费者和生产者连接在一起。从源集群的Topic读取数据，并写入目标集群的同名Topic。相比于Kafka MirrorMaker，Confluent Replicator是一个更完整的解决方案，它能复制Topic的配置和数据，还能与Kafka Connect和Control Cent...

阿里云文档 2024-03-08

使用Replicator跨集群复制数据

本文描述了如何启动两个Apache Kafka集群，然后启动一个Replicator进程在它们之间复制数据。

文章 2022-11-16 来自：开发者社区

Streaming 消费 kafka 数据的两种方式|学习笔记

开发者学堂课程【大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）：Streaming消费kafka数据的两种方式】学习笔记与课程紧密联系，让用户快速学习知识课程地址：https://developer.aliyun.com/learning/course/670/detail/11626Streaming 消费 kafka 数据的两种方式内容介绍：一....

文章 2022-02-17 来自：开发者社区

通过Spark Streaming作业处理Kafka数据

本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群，并运行Spark Streaming作业消费Kafka数据。前提条件已注册阿里云账号，详情请参见注册云账号。已开通E-MapReduce服务。已完成云账号的授权，详情请参见角色授权。背景信息在开发过程中，通常会遇到消费Kafka数据的场景。在阿里云E-MapReduce中，您可通过运行Spark S...

文章 2022-02-16 来自：开发者社区

Spark Streaming kafka实现数据零丢失的几种方式

在使用Spark streaming消费kafka数据时，程序异常中断的情况下发现会有数据丢失的风险，本文简单介绍如何解决这些问题。在问题开始之前先解释下流处理中的几种可靠性语义： 1、At most once - 每条数据最多被处理一次（0次或1次），这种语义下会出现数据丢失的问题； 2、At least once - 每条数据最少被处理一次 (1次或更多)，这个不会出现数据丢失，...