文章 2023-01-16 来自:开发者社区

【夯实Kafka实战性能调优技能】消息队列服务端出现内存溢出OOM以及相关性能调优实战分析

内存问题本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。bin目录下的kafka-run-class.sh中须要配置的参数kafka是由scala和java编写的。因此须要调一些jvm的参数。java的内存分为堆内内存和堆外内存。JV....

文章 2023-01-16 来自:开发者社区

Kafka技术专题之「问题分析篇」消息队列服务端出现内存溢出OOM以及相关实战分析系列

主旨内容本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。broker端配置文件须要配置的参数message.max.bytes : kafka会接收单个消息size的最大限制, 默认为1M左右。若是producer发送比这个大的消息,....

文章 2022-12-14 来自:开发者社区

Kafka流程流转-服务端

     kafka分为客户端和服务端,通常我们知道broker是服务端,而生产者和消费者作为客户端。因此在服务端就必定需要解决并发和网络IO的问题。因此不可避免需要用到SocketChannel和ServerSocketChannel,可以看到kafka就使用了ServerSocketChannel,采用Netty来解决这个问题,这里socketServer采用了....

Kafka流程流转-服务端
文章 2022-06-10 来自:开发者社区

【Kafka】-Kafka服务端脚本详解(3)一性能测试脚本

脚本名称脚本用途kafka-producer-perf-test.shkafka生产者性能测试脚本kafka-consumer-perf-test.shkafka消费者性能测试脚本kafka-console-producer.shkafka生产者控制台kafka-console-consumer.shkafka消费者控制台kafka-producer-perf-test.shkafka生产者性能....

【Kafka】-Kafka服务端脚本详解(3)一性能测试脚本
文章 2022-06-10 来自:开发者社区

【Kafka】-Kafka服务端脚本详解(2)一log,verifiable

脚本名称脚本用途kafka-log-dirs.sh查看指定broker上日志目录使用情况kafka-verifiable-consumer.sh检验kafka消费者kafka-verifiable-producer.sh检验kafka生产者kafka-log-dirs.sh--bootstrap-serverkafka地址--broker-list要查询的broker地址列表,broker之间逗....

【Kafka】-Kafka服务端脚本详解(2)一log,verifiable
文章 2022-06-10 来自:开发者社区

【Kafka】-Kafka服务端脚本详解(1)-topics

脚本名称脚本用途kafka-topics.shtopic管理脚本connect-distributed.sh连接分布式模式脚本connect-standalone.sh连接单机模式脚本kafka-topics.sh--partitions创建或修改主题的分区数--replication-factor副本因子,副本数量--replica-assignment手动指定分区副本分配方案,使用该参数,不....

【Kafka】-Kafka服务端脚本详解(1)-topics
问答 2020-03-28 来自:开发者社区

如何快速测试消息队列 Kafka 版服务端是否正常?

如何快速测试消息队列 Kafka 版服务端是否正常?

文章 2017-12-07 来自:开发者社区

Kafka~服务端几个常用的命令

在Centos上安装和部署完成kafka之后,我们就可以向服务端推消息和消费它了,今天主要聊几个常用的命令,比建立topic,从broken显示所有topics列表,向broken发消息,从broken拉消息等。 建立topic 列出所有topic 向broken推消息 从broken拉消息 建立topic bin/kafka-topics.sh --create --zookeeper l...

Kafka~服务端几个常用的命令

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注