问答 2025-02-13 来自:开发者社区

Flink默认先全量再增量同步,全量时会对checkpoint上锁,导致请求检查点时失败,任务重启

如题,我是新手小白一个。同步的这个表很大,大概需要4小时时间才能导出所有数据。我在启动一个flink任务时,使用的是1.20版本,对应的flink-sql-connector-oracle-cdc-3.3.0.jar。同步命令如下,默认会先全量同步,对checkpoint上锁,导出这个表的全部数据后创建快照,释放checkpoint锁,接着自动进入增量同步模式:bin/flink run \ .....

问答 2023-08-15 来自:开发者社区

Flink停止前选择了创建一次快照 但是检查点失效啦 此时会使创建快照失败任务频繁重启么?

Flink停止前选择了创建一次快照 但是检查点失效啦 此时会使创建快照失败任务频繁重启么?我看了下日志原因是检查点失效。

问答 2023-05-14 来自:开发者社区

各位请教一个Flink CDC问题,我的系统现在报这个异步检查点问题,之前任务失败了重启了,就报这?

各位请教一个Flink CDC问题,我的系统现在报这个异步检查点问题,之前任务失败了重启了,就报这个问题,哪个大佬知道什么情况吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注