问答 2023-10-30 来自:开发者社区

有没有大佬使用pyflink读取kafka数据的, 有没有相应的解决办法呀?

有没有大佬使用pyflink读取kafka数据的,kafka流出来的数据类型是字节 但是pyflink提供的kafkasource 反序列化器只有simplestringschma。这个读取kafka字节类型的反序列化 有没有相应的解决办法呀?

问答 2023-10-06 来自:开发者社区

如图,在机器学习PAI的pyflink读取kafka数据, 一直报这个错怎么回事

在机器学习PAI的pyflink读取kafka数据,使用TableSourceStream Op转成alink的op,一直报这个错,大家有没有遇到,怎么解决呢?kafka的connector包已正常导入插件下载了的,我改了pyalink env.py的一行代码,把use_old_planner改为use_blink_planner,就跑成功了,有个疑问use_old_planner已经废弃了,我....

问答 2023-09-17 来自:开发者社区

问一下Flink:我这边使用pyflink将json的流数据写入kafka后,请问应该如何解决?

问一下Flink:我这边使用pyflink将json的流数据写入kafka后,消费得到的数据却变成字段个数统计。如上面两图所示。请问应该如何解决,使得消费得到的数据和写入数据一致?使用的是canal-json格式

问答 2023-09-13 来自:开发者社区

我这边使用pyflink将json的流数据写入kafka后,请问应该如何解决?

我这边使用pyflink将json的流数据写入kafka后,消费得到的数据却变成字段个数统计。如上面两图所示。请问应该如何解决?使得消费得到的数据和写入数据一致。请大神帮忙掌掌眼

文章 2023-08-11 来自:开发者社区

在 PyFlink 1.13.3 中接收 Kafka 消息

要在 PyFlink 1.13.3 中接收 Kafka 消息并进行流处理,然后将最终结果写入数据库,可以按照以下步骤进行操作: 安装 PyFlink 和相关依赖: pip install apache-flink==1.13.3 编写 PyFlink 程序代码:创建一个新的 Python 脚本,...

问答 2023-08-08 来自:开发者社区

pyflink 1.13.3版本,接受kafka消息,流处理,然后写入数据库

每次接受到kafka消息后,处理结果写入数据库,但是我就想要最后的结果,比如计数,最后结果为20,我只想把最后一条数据写入数据库,而不是要把流处理的整个过程写入数据库。

问答 2023-02-06 来自:开发者社区

pyflink 连接kafka 不定字段的json反序列化,有没有比较好的写法?

pyflink 连接kafka 不定字段的json反序列化,有没有比较好的写法?

问答 2022-07-22 来自:开发者社区

PyFlink支持读取Kafka的数据写入MongoDB吗?

PyFlink支持读取Kafka的数据写入MongoDB吗?

问答 2021-12-06 来自:开发者社区

我在pyflink中使用SQL DDL创建kafka源,总提示创建失败怎么办?

代码如下: String path = "hdfs://HACluster/user/flink/test-1/2020-05-29--15/"; StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); FileInputFormat fileInputFormat = new ....

问答 2021-12-03 来自:开发者社区

请问pyflink如何跟kerberos认证的kafka对接呢?

我把kerberos相关的配置放在某一个flink-conf.yaml里,然后启动了一个local模式*来自志愿者整理的flink

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等