文章 2024-03-14 来自:开发者社区

Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决

问题一:Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,怎么区分先后? Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,op_ts字段可能会一样,如何区分先后顺序呢?同一条数据在短时间内有i、d、u操作,操作时间读取过来也是同一个,这咋区分哪个前哪个后呢? 参考答案: 我是自己解析之后按照...

问答 2024-02-26 来自:开发者社区

Flink CDC里提交一个sql任务,如何在sql运行中,能查看日志任务?

在使用 Flink CDC 提交 SQL 任务到 Yarn 时,是否有办法在 SQL 任务运行过程中查看或监控相关的日志信息?另外在 Yarn 的 Web 界面上能否看到具体执行的 SQL 任务细节?我的目的是识别和定位哪些特定的 SQL 任务在 Yarn 集群上占用了大量内存资源。

文章 2024-02-25 来自:开发者社区

Flink报错问题之提交flink sql任务报错如何解决

问题一:1.11.1 报OutOfMemoryError: Metaspace. 错误      我是用flink sql,通过JDBC源读取mysql表数据,多次提交后,报OutOfMemoryError: Metaspace.错误,最后分析是mysql驱动包中有个守护线程一直在检测清理失效的connection,导致有线程一直存在,class资源无法释...

文章 2024-01-17 来自:开发者社区

DataphinV3.14 Flink SQL任务支持基于Session集群调试,模拟生产代码逻辑的调试效果

背景 实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足: 支持的采样数据有限,且非是流式数据的调试。手动上传构造数据的方式较为繁琐,局限性较大。为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望...

DataphinV3.14 Flink SQL任务支持基于Session集群调试,模拟生产代码逻辑的调试效果
问答 2024-01-04 来自:开发者社区

Flink binlog 收到这样一条sql 任务就崩溃了,怎么解决呀?

Flink binlog 收到这样一条sql 任务就崩溃了,怎么解决呀?已经稳定运行很久了 最近出现了这样一个错

问答 2023-12-25 来自:开发者社区

Flink CDC中flink sql 可以做mysql to mysql同步任务吗?

Flink CDC中flink sql 可以做mysql to mysql同步任务吗?

问答 2023-12-01 来自:开发者社区

Flink CDC中已经执行的sql,是否可以在任务不中断情况下对语句进行修改?

Flink CDC中已经执行的sql,是否可以在任务不中断情况下对语句进行修改?

问答 2023-11-30 来自:开发者社区

flink-cdc sql任务重启的时候要指定从checkpoint继续,怎么指定啊?

flink-cdc sql任务重启的时候要指定从checkpoint继续,怎么指定啊,另外,好像 flinksql任务中断之后,如果sql脚本没存,那我是不是就GG了?

问答 2023-11-22 来自:开发者社区

这个flink产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗?

这个flink产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗?

问答 2023-11-22 来自:开发者社区

阿里云的Flink这个流计算可以部署定时跑批sql任务吗?

阿里云的Flink这个流计算可以部署定时跑批sql任务吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

分享数据库前沿,解构实战干货,推动数据库技术变革

+关注