云原生大数据计算服务 MaxCompute消息队列的相关内容

阿里云文档 2025-02-17

如何将Kafka的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。

文章 2024-10-13 来自：开发者社区

大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop HDFS MapReduce Hive Flume Sqoop Zookeeper HBase Redis （正在更新）章节内容上一节我们完成了如下的内容： string 类型 list 类型...

文章 2024-04-10 来自：开发者社区

Kafka与大数据：消息队列在大数据架构中的关键角色

在当今数字化转型的浪潮中，大数据已成为企业洞悉市场趋势、优化业务流程、驱动创新决策的核心驱动力。而在这繁复庞大的大数据体系中，消息队列扮演着至关重要的角色，其中，Apache Kafka作为一款高性能、高吞吐量的分布式消息队列系统，更是以其卓越的性能与广泛的应用场景，深度融入并塑造着现代大数据架构的脉络。一、实...

文章 2023-05-24 来自：开发者社区

12.Consumer消费者机制和分区策略12.1.消费者拉取数据机制消费者为什么是从broker中pull数据，而不是broker主动push给消费者呢消费者采用pull方式拉取，从broker的partition获取数据。pull模式则可以根据consumer的消费能力进行自行调节拉取消息的多少，不同的消费者性能不一样。如果broker没有消息，consumer可以配置timeout时间，阻....

文章 2023-05-24 来自：开发者社区

【消息队列】一文搞定大数据消息队列Kafka2

6.Kafka数据存储流程和原理概述6.1.Partitiontopic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列是以文件夹的形式存储在具体Broker本机上6.2.LEO（LogEndOffset）表示每个partition的log最后一条Message的位置6.3.HW（HighWatermark）表示partition各个replic....

文章 2023-05-24 来自：开发者社区

【消息队列】一文搞定大数据消息队列Kafka1

1.JMS+AMQP核心知识1.1.什么是MQ中间件全称MessageQueue，主要是用于程序和程序之间的通信，异步+解耦1.2.使用场景核心应用：解耦：订单系统->物流系统异步：用户注册->发送右键，初始化信息削峰：秒杀、日志处理跨平台、多语言分布式事务、最终一致性RPC调用上下游对接，数据源变动->通知下属1.3.JMS消息服务和和常见核心概念（1）什么是JMSjava消....

文章 2022-04-28 来自：开发者社区

大数据场景下的消息队列：Kafka3.0快速入门

（一）什么是KafkaKafka是一个分布式的基于发布/订阅模式的消息队列，同时它又是一个分布式的事件流平台。既可作为消息队列，又可作为数据管道、流分析的应用。目前Kafka的最大应用还是消息队列。市面上主流的消息队列有RabbitMQ，ActiveMQ、Kafka等等，其中RabbitMQ，ActiveMQ这些主要是Java应用中的队列，而Kafka主要在大数据场景下使用。消息队列主要应用场景....

文章 2022-02-17 来自：开发者社区

阿里云消息队列 Kafka 商业化首发 | 进一步提升 Kafka 在大数据生态中的价值

7月25日，阿里云即将直播发布消息队列Kafka，全面融合开源生态。【直播传送门】在全面兼容Apache Kafka生态的基础上，消息队列Kafka还具备了超易用，超高可用可靠性，扩缩容不操心，全方位安全诊断，数据安全有保障的特点。可用行达99.9%，数据可靠行99.999999%，彻底解决Apache Kafka稳定性不足的长期痛点，并且支持消息无缝迁移到云上。 » 全面兼容Apach...