文章 2025-01-27 来自:开发者社区

kafka 的数据是放在磁盘上还是内存上,为什么速度会快?

Kafka 的数据存储机制是将数据同时写入磁盘和内存,这种设计使得 Kafka 既能够提供高吞吐量的数据处理能力,又能够保证数据的持久性和可靠性。以下是 Kafka 数据存储的具体机制及其为什么速度快的原因: 数据存储机制 日志文件: Kafka 将消息存储在日志文件(log files)中,这些文件按主题(topic)和分区(parti...

问答 2024-08-06 来自:开发者社区

为什么flink光从kafka接收数据直接print,内存都能涨几个G啊?

为什么flink光从kafka接收数据直接print,内存都能涨几个G啊?

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之 从Kafka读取数据,并与两个仅在任务启动时读取一次的维度表进行内连接(inner join)时,如果没有匹配到的数据会被直接丢弃还是会被存储在内存中

问题一:Flink CDC 里这个配置参数有文档吗?哪里有全部的配置参数可以查到? Flink CDC 里这个配置参数有文档吗?哪里有全部的配置参数可以查到? https://github.com/apache/flink-cdc ...

实时计算 Flink版产品使用问题之 从Kafka读取数据,并与两个仅在任务启动时读取一次的维度表进行内连接(inner join)时,如果没有匹配到的数据会被直接丢弃还是会被存储在内存中
问答 2023-03-13 来自:开发者社区

kafka里面的数据是在内存里面是吧?

kafka里面的数据是在内存里面是吧?

问答 2023-01-09 来自:开发者社区

我用cdc同步大表到kafka 用了2.3的切块 在数据fetch的时候报jvm堆内存溢出

我用cdc同步大表到kafka 用了2.3的切块 在数据fetch的时候报jvm堆内存溢出 里面是记录什么了吗? 真实数据其实会写到db history topic里吧?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等