问答 2022-08-24 来自:开发者社区

发送到kafka提示这个错误 org.apache.kafka.common.KafkaExcept

发送到kafka提示这个错误 org.apache.kafka.common.KafkaException: Could not add partitions to transaction due to errors: {t-bi-db-etl-flink-cdc-data-assembly-0=CORRUPT_MESSAGE}这个错误怎么在程序里修复?

文章 2022-05-13 来自:开发者社区

Kafka发送消息时提示请求数据过大是怎么回事?

今天有个小伙伴跟我反馈,在 Kafka 客户端他明明设置了 batch.size 参数,以提高 producer 的吞吐量,但他发现报了如下错误:然后我去服务器查看了下 producer 的配置,发现没有配置 max.request.size,默认值为 1048576,而他发送的消息大小为 1575543,因此报了这个异常。然后接下来他跟我讲他已经在客户端配置了 batch.size 的值为 5....

Kafka发送消息时提示请求数据过大是怎么回事?
问答 2021-12-07 来自:开发者社区

直接通过kafka source table表名直接引用报错,提示hive catalog内没这张表

我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪? *来自志愿者整理的flink邮件归档

问答 2021-12-06 来自:开发者社区

我在pyflink中使用SQL DDL创建kafka源,总提示创建失败怎么办?

代码如下: String path = "hdfs://HACluster/user/flink/test-1/2020-05-29--15/"; StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); FileInputFormat fileInputFormat = new ....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注