mq云消息队列 Kafka 版的相关内容

文章 2024-06-12 来自：开发者社区

【消息中间件】详解三大MQ：RabbitMQ、RocketMQ、Kafka

1.概述 1.1.MQ简介消息中间件，其实准确的叫法应该叫消息队列（message queue），简称MQ。其本质上是个队列，有FIFO的性质，即first in first out，先入先出。目前市场上主流的MQ有三款： RabbitMQ RocketMQ Kafka 1.2.MQ的应用场景 MQ一般...

文章 2024-05-15 来自：开发者社区

MQ产品使用合集之对于Kafka作为数据源的情况，官方比较推荐哪种使用方式

问题一：在MQTT中，微消息队列topic有规划可以自定义吗？问下微消息队列topic有规划可以自定义吗？参考回答： topic的设置支不支持+、#这种通配符关于本问题的更多...

文章 2023-10-19 来自：开发者社区

MQ - 闲聊MQ一二事儿（Kafka、RocketMQ 、Pulsar ）

MQ的发展史如上图我们可以把消息队列的发展切分成了三个大的阶段阶段一：追求解耦2003-2010年,计算机软件行业兴起。系统间强耦合是程序设计的难题。ActiveMQ和RabbitMQ等消息队列出现。消息队列致力于解决系统间耦合和异步化操作问题。系统间解耦和异步化是消息队列最主要的功能和使用场景。阶段二：追求吞吐量与一致性10 -12 年期间，大数据时代实时计算需求增长,数据规模扩大,Kafka....

文章 2023-09-02 来自：开发者社区

MQ相关(Kafka实现原理)

MQ是什么？消息队列，直接上定义可能不太好理解，咱们直接举几个生活的例子来说明这个消息队列都有啥妙用吧，先总的来说吧有以下几个用处：1.应用解耦，2.消息消峰，3.异步处理等，接着咱们来一个一个看看。解耦：比如，网购的东西，快递员送货给收货人，以前都要给收货人打电话问什么时候有时间，联系具体时间送货，后来我们现在都有快递柜或者便利店收快递，快递员只需要把快递放到代收点，代收点通知收件人来拿货即可....

文章 2023-08-15 来自：开发者社区

【MQ】Kafka如何保证幂等性

kafka默认情况下，提供的是至少一次的可靠性保障。即broker保障已提交的消息的发送，但是遇上某些意外情况，如：网络抖动，超时等问题，导致Producer没有收到broker返回的数据ack，则Producer会继续重试发送消息，从而导致消息重复发送。如果我们禁止Producer的失败重试发送功能，消息要么写入成功，要么写入失败，但绝不会重复发送。这样就是最多一次的消息保障模式。但对于消息组....

文章 2023-08-15 来自：开发者社区

【MQ】Kafka如何保证消息不丢失

没时间的朋友建议直接看总结Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。Producer端保证消息不丢失为了提升效率，减少IO，producer在发送数据时可以将多个请求进行合并后发送。被合并的请求发送之前缓存在本地buffer中。但是，buffer中的数据是危险的。一旦producer被非法的停止了，那么buffer中的数据将丢失，broke....

文章 2023-08-15 来自：开发者社区

限时开源！阿里内部消息中间件合集：MQ+Kafka+体系图+笔记

近好多小伙伴说在准备金三银四的面试突击了，但是遇到消息中间件不知道该怎么学了，问我有没有成体系的消息中间件的学习方式。额，有点不知所措，于是乎小编就想着做一次消息中间件的专题，归类整理了一些纯手绘知识体系图、面试以及相关的学习笔记。先看下纯手绘知识体系图Kafka知识体系大纲由于我手绘这些知识体系大纲是用的xmind软件，无法上传，所以都以截图的形式展示，细节处不清楚（毕竟图片形式有限），不过可....

文章 2023-07-29 来自：开发者社区

MQ 学习日志(四) kafka的选举机制

kafka的选举机制一个Kafka集群中有多个Broker，最开始的时候，这些Broker中的有一个Broker会被选举为控制器(KafKa Controller)，他负责管理整个集群中所有的分区和副本的状态，每个Topic的partition的多个Replication中只有一个Replication会被选举为Leader，...