flinkcdc同步云数据库 RDS MySQL 版的相关内容

问答 2024-02-01 来自：开发者社区

Flinkcdc里pipeline同步数据mysql->starrocks，爆的错误，是怎么解决？

Flink version1.18 Flink CDC version3.0.0 Database and its versionstarrocks 2.5.8 Minimal reproduce step在删除列之后，立马新增或删除数据。2024-01-22 17:36:22,556 INFO com.starrocks.connector.flink.catalog.StarRocksCat....

问答 2024-01-29 来自：开发者社区

flink 端到端延迟以及flinkcdc 同步mysql时的延迟存在突刺，怎么寻找排查原因？

一些相关配置： promethues 配置：以下延迟指标都是flink 内部提供的相关指标，prometheusReporter 推送到pushgateway 的间隔是 60s , 具体配置如下： prometheus 拉取间隔为 30s ：状态后端Rocksdb配置: 问题1 ：flink 端到端延迟突刺 flink_taskmanager_job_latency_source_id...

文章 2024-01-12 来自：开发者社区

flinkcdc的api方式设置了检查点，重启还是会全量同步mysql的数据

.startupOptions(StartupOptions.initial())设置全量导入，设置了检查点，每次重启并未实现从检查点启动同步增量数据，而是每次都同步增量数据，这是什么原因

问答 2023-11-22 来自：开发者社区

flinkcdc同步mysql遇到这种报错会导致数据丢失吗？

flinkcdc同步mysql遇到这种报错会导致数据丢失吗？感觉这个报错不好在生产复现，启动了两个cdc任务同步一台mysql数据，当启动第三个cdc任务的时候，前两个cdc都会报这个错误？

问答 2023-10-30 来自：开发者社区

flinkcdc同步MySQL数据，动态加表后，出现增量数据无法同步问题，有人遇到过吗？

flinkcdc同步MySQL数据，动态加表后，出现增量数据无法同步问题，但没有任何报错信息。有人遇到过吗？

问答 2023-10-07 来自：开发者社区

FLinkCDC同步mysql的数据，必须要root权限吗？

文章 2023-08-28 来自：开发者社区

一次打通FlinkCDC同步Mysql数据

业务痛点离开了业务谈技术都是耍流氓。我们来聊聊基于业务的痛点，衍生出来的多种数据同步方案。业务中常见的需要数据同步的场景1、多个库的表合并到一张表。不同的业务线或者微服务在不同的数据库里开发，但是此时有些报表需要将多个库的类似的数据合并后做查询统计。或者，某些历史原因，类似刚开始的商业模式不清晰，导致一些业务线分分合合。或者某些边缘业务逐步融合到了主业务。早起的数据是分开的，业务运营也是分开，后....

问答 2023-08-22 来自：开发者社区

咨询一下，通过FlinkCDC同步MySQL数据到Hudi表的作业，在snapshot同步完，开始？

咨询一下，通过FlinkCDC同步MySQL数据到Hudi表的作业，在snapshot同步完，开始读取binlog之后，checkpoint耗时变长（5分钟左右）同时开始出现这样的异常，请问是什么原因导致的呢？有哪些排查方向吗？

问答 2023-08-16 来自：开发者社区

通过FlinkCDC同步MySQL数据到Hudi中间出现这个问题什么原因？

通过FlinkCDC同步MySQL数据到Hudi，中间通过UDF将latin1编码的varchar类型数据转换成utf8编码，发现在SinkMaterializer[3] -> row_data_to_hoodie_record这一步的full checkpoint data size越来越大可能是什么原因导致的呢？

问答 2023-08-09 来自：开发者社区