问答 2024-08-04 来自:开发者社区

Flink CDC对接SQL SERVER,源数据库每月需要定期重启CDC导致流数据不完整

使用阿里Flink连接了同在阿里云自建IDC的SQLSERVIER数据库。 由于使用的源数据中有一些大表,开启CDC后磁盘空间占用问题,每个月需要定期重启CDC进行日志清理。 在这个过程(5分钟)只有,会发现flink读取到的源表流数据缺失,请问有什么办法可以规避这个问题码?

问答 2024-07-15 来自:开发者社区

在Flink CDC中SqlServer开启CDC后,数据库如何正确的备份还原?

在Flink CDC中SqlServer开启CDC后,数据库如何正确的备份还原?请参考图片:

问答 2024-05-20 来自:开发者社区

Flink CDC里我这边使用的是cdc3.0版本 发现sqlserver数据库新增字段后作业报错?

Flink CDC里我这边使用的是cdc3.0版本 发现sqlserver数据库新增字段后作业就会报错是什么原因呀 ? 之前的版本不会。我这边提交不了 没有账号的 申请被拒绝了。

问答 2024-04-22 来自:开发者社区

flink cdc去读sqlserver2016版本数据库的数据,可以使用什么版本的CDC连接器?

我用flink cdc去读sqlserver2016版本数据库的数据,可以使用什么版本的CDC连接器。flink是1.13.6版本的。另外CDC2.2.1的会有锁表问题吗?

问答 2023-11-30 来自:开发者社区

Flink CDC中sqlserver里面,源头数据库更新数据之后,吐出来的op是u,还是先d后c?

Flink CDC中sqlserver里面,源头数据库更新数据之后,吐出来的op是u,还是先d后c?

问答 2023-11-16 来自:开发者社区

Flink CDC中sqlserver开启cdc后对数据库本身的性能影响大不大的?

Flink CDC中sqlserver开启cdc后对数据库本身的性能影响大不大的?

问答 2023-07-26 来自:开发者社区

Flink CDC中sqlserver cdc 我只指定一个数据库它却把其他数据库下的同名表为什么?

Flink CDC中sqlserver cdc ,我只指定了一个数据库··它却把其他数据库下的同名表都给监听了···是我哪里写法不对吗?其实有很多别的数据库都有tablelist里的表,现状是所有库里的同名表都被监听了,我不想flink监听我没指定的数据库的表。我代码里只指定了A数据库下的 dbo.xx表~实际上运行下来flink监听了A,B,C所有数据库下面的dbo.xx表。我的 sink .....

问答 2023-05-09 来自:开发者社区

flink cdc全量+增量同步sql server数据库,大佬们有方案吗?

flink cdc全量+增量同步sql server数据库,大佬们有方案吗?或者有没有相关文档分享给小弟一下呀;我是要把sql server的数据同步到mysql里

问答 2023-04-05 来自:开发者社区

flink cdc 设置 sqlserver数据库 表140W条数据 直接写入 postgres

flink cdc 设置 sqlserver数据库 表140W条数据 直接写入 postgres数据库insert into TMATTOWORK_test2 select * from TMATTOWORK;数据插入postgres表80万条后报错,然后插入100W条后第二次报错--报错org.apache.flink.util.FlinkRuntimeException: Exceede...

问答 2023-03-21 来自:开发者社区

请问,Flink CDC将SQL Server 2012数据库一亿数据写入Hudi,要多少配置?

之前我花了不少时间配置好环境顺利插入百万条数据,然后尝试上亿条数据的操作,一直不成功。请问一下,Flink CDC将SQL Server 2012数据库的一亿条数据表写入Hudi表,需要服务器什么物理配置,这是我现在的内存等配置

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等