问答 2023-07-13 来自:开发者社区

Flink CDC MySQL+canal+kafka+flink?这样搞,咋感觉都回退了,cdc不

Flink CDC MySQL+canal+kafka+flink?这样搞,咋感觉都回退了,cdc不就是为了简化这些流程才横空出世的吗?

问答 2023-07-13 来自:开发者社区

flink支持kafka的cdc吗?不是,我想把kafka作为source,作为mysql那样的源,

flink支持kafka的cdc吗?不是,我想把kafka作为source,作为mysql那样的源,抽取的源头,读kafka日志,像读binlog一样,应该是不行吧,作为管道用的吧,赛到kakfa我做了一些抽取器,有些支持流,有些不支持流弄到kafka我就不知道他是支持流还是不支持流,如果说支持流的话,应该有个cdc去连

高性能

基于 Flink CDC 打造企业级实时数据同步方案

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2023-07-13 来自:开发者社区

Flink CDC大佬,mysql-cdc在同步的时候是占用的jdbc连接吗,如果一个flink任?

问题1:Flink CDC大佬,mysql-cdc在同步的时候是占用的jdbc连接吗,如果一个flink任务里面部署多张表,同步增量数据的时候默认使用的是一个并行度,那么是不是有几个表就会占用几个jdbc连接?是的,也就是说即使我使用了不同的server-id但是其实只会占用一个连接数是吗?问题2:假如我的一个任务里面有两张表的同步任务,并行度设置的是3 ,server-id 一张表是1-3 另....

问答 2023-07-13 来自:开发者社区

Flink CDC 2.4的mysql和oracle不兼容的问题,有没有优雅的规避方案?

Flink CDC 2.4的mysql和oracle不兼容的问题,有没有优雅的规避方案?

问答 2023-07-13 来自:开发者社区

大佬请教一个有关flink cdc 同步MySQL的报错,这个是事务问题吗?

大佬请教一个有关flink cdc 同步MySQL的报错,这个是事务问题吗?

问答 2023-07-13 来自:开发者社区

Flink CDC中oracle/mysql/pgsql/sqlser/--2.4 cdc都放在一?

Flink CDC中oracle/mysql/pgsql/sqlser/--2.4 cdc都放在一起,会有包冲突吗?

问答 2023-07-13 来自:开发者社区

Flink CDC mysql-cdc用了2.4,oracle-cdc用了自己编的2.5.包冲突?

Flink CDC mysql-cdc用了2.4,oracle-cdc用了自己编的2.5.包冲突了。有大佬通过改源码修复oracle2.4的问题的吗,在哪里改哦?

问答 2023-07-13 来自:开发者社区

大佬们 Flink CDC 你们有碰到 mysql cdc 建立20个任务后就报Failed ?

大佬们 Flink CDC 你们有碰到 mysql cdc 建立20个任务后就报Failed to close the SourceCoordinator for cbc357ccb763df2852fee8c4fc7d55f2 before timeout of 60000 ms(2023-07-06 15:33:08)这个错误的情况吗?这个是cdc的bug吗? 换了几个db 只要到了20...

问答 2023-07-13 来自:开发者社区

新手小白想跟各位大佬问一些Flink CDC问题: mysql-cdc 默认的线程数是多少? 并发量

新手小白想跟各位大佬问一些Flink CDC问题:mysql-cdc 默认的线程数是多少?并发量能支持到多少?异常处理方式有哪些?

问答 2023-07-13 来自:开发者社区

Flink CDC中'scan.incremental.mysql我这样设置读取不到增量数据,设置?

Flink CDC中'scan.incremental.snapshot.enabled'='true'---本地启动pyflink测试,mysql我这样设置读取不到增量数据,设置成false反而可以,有大佬碰到过这个问题么?2.3和2.4都是这样

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注