问答 2024-02-26 来自:开发者社区

Flink cdc同步mysql多张表,初始化过程中,内存是如何释放的?

Flink cdc同步mysql多张表,初始化过程中,内存是如何释放的?用增量快照算法,指定的拆分主键,状态后端默认的,TM内存。存储在hashMap。

问答 2024-02-25 来自:开发者社区

Flink CDC里之前用mysql数据库join比较慢,这种join性能会比较好吗?

Flink CDC里之前用mysql数据库join比较慢,所以才改成同步宽表到es,不知道doris,starorcks 这种join性能会比较好吗?

高性能

基于 Flink CDC 打造企业级实时数据同步方案

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2024-02-25 来自:开发者社区

Flink CDC里有没有flink从mysql到clickhouse的相关文档学习呀?

Flink CDC里有没有flink从mysql到clickhouse,还有mysql到mysql相关计算的demo学习一下呢?

问答 2024-02-24 来自:开发者社区

有没有用flink cdc做过mysql整库的实时同步?

有没有大神用flink cdc做过mysql整库的实时同步?

问答 2024-02-21 来自:开发者社区

flink CDC中,同步任务重并没有同步mysql某张表,如果未被同步的表结构变更了怎么办?

flink CDC中,同步任务重并没有同步mysql某张表,如果未被同步的表结构变更了,flinkCDC 同步任务也会报错。按理说应该不会,是不是可以做些设置呢?

问答 2024-02-20 来自:开发者社区

flink cdc同步mysql分表,当作业启动之后,新增的分表同步不到,是mysql设置的问题吗?

flink cdc同步mysql分表,当作业启动之后,新增的分表同步不到,是mysql设置的问题,还是flink cdc的啊?这个是有打开的

文章 2024-02-19 来自:开发者社区

Flink cdc报错问题之读取mysql报错如何解决

问题一:关于Flink CDC,两个任务监控同一个mysql表,serverid改了,为啥还会报错重启? 关于Flink CDC,两个任务监控同一个mysql表,serverid改了,为啥还会报错重启? 参考答案: 在Flink CDC中,如果两个任务(source和sink)监控同一个MySQL表,并且MySQL的server-id(也称为数据库ID...

Flink cdc报错问题之读取mysql报错如何解决
问答 2024-02-14 来自:开发者社区

Flink CDC里看了下mysql的日志,这种效果要怎么实现?

Flink CDC里看了下mysql的日志,发现flink在查询数据的时候,使用的语句是 select from table。我在创建sql任务的时候,source端是列出了要的字段,flink还会用select 去查找库里面查找。因为cdc读取源端数据分两个阶段,第一阶段是做可并行的全量快照(select *),第二阶段做单线程读binlog拿增量数据。我想在第一阶段的时候查询也通过指定字...

问答 2024-02-14 来自:开发者社区

这个FLINK CDC 3.0.0 MYSQL到SR,指定位点增量同步这种情况怎么办?

这个FLINK CDC 3.0.0 MYSQL到SR,指定位点增量同步1、send record 和receive record 一直为0 ,但数据已经成功同步至SR2、过了heartbeat超时时间,JOB就自动停掉了3、目前未发现有可用异常日志信息这个要怎么排查呢?

问答 2024-02-08 来自:开发者社区

在使用Flink CDC从MySQL进行实时同步至目标库的场景中,如何解决生产环境中的问题?

在使用Flink CDC从MySQL进行实时同步至目标库的场景中,如何解决生产环境中由于MySQL连接数过多而造成的源数据库压力过大的问题?特别是在Flink 3.0版本下,针对运行在YARN上的任务管理(而非Kubernetes),以及对于存量客户可能存在的SQL自定义需求和资源管理的案例呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注