问答 2023-10-23 来自:开发者社区

Flink CDC会和我们mysql bin log 存储时间有关系吗?

Flink CDC会和我们mysql bin log 存储时间有关系吗?我们同步20个表,有几个表数据有一亿条以上,使用的是 flink-doris-connector 的全表同步方式。全量同步的时候都是一个表一个表同步的。现在全量同步完增量数据没有进来。有没有可能是这段时间mysql bin log换了文件,mysql 服务器的binlog文件本地删除了导致呢

问答 2023-10-23 来自:开发者社区

Flink CDC mysql连接器配置这个选项,为啥不同步历史数据呢?

Flink CDC mysql连接器配置这个选项,为啥不同步历史数据呢?

高性能

基于 Flink CDC 打造企业级实时数据同步方案

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2023-10-23 来自:开发者社区

Flink CDC有大佬用canal 同步腾讯云的tdsql-C mysql版的吗?

Flink CDC有大佬用canal 同步腾讯云的tdsql-C mysql版的吗?

问答 2023-10-23 来自:开发者社区

Flink CDC2.4版本cdc不能使用2.1版本有自动侦测mysql时区的方式么?

Flink CDC2.4版本cdc不能使用2.1版本.serverTimeZone("SYSTEM")这种方式自适应mysql时区,但如果不指定时区,又会报本地和server端时区不一致的错:The MySQL server has a timezone offset (7200 seconds ahead of UTC) which does not match the configured ....

问答 2023-10-18 来自:开发者社区

使用flink cdc 读取mysql中的数据写入hudi中,知道是为什么吗?

使用flink cdc 读取mysql中的数据写入hudi中,但是最后一批数据不会写入ro表,只有等我再次添加数据或者修改数据的时候才会同步到ro表,有大佬知道是为什么吗?https://github.com/apache/hudi/issues/6019类似与这个问题

问答 2023-10-18 来自:开发者社区

官网上有Flink CDC 与 mysql 版本对应关系吗 ?

官网上有Flink CDC 与 mysql 版本对应关系吗 ?Caused by: java.lang.ClassCastException: cannot assign instance of com.ververica.cdc.connectors.mysql.table.MySqlDeserializationConverterFactory$2 to field com.ververic....

问答 2023-10-18 来自:开发者社区

在flink cdc mysql -> doris 时,总是报这个错?

在flink cdc mysql -> doris 时,总是报这个错?

问答 2023-10-18 来自:开发者社区

Flink CDC中mysql客户端一次性写入大量数据 cdc这边就会报这个错误 遇到过吗?

Flink CDC中mysql客户端一次性写入大量数据 cdc这边就会报这个错误 大佬们有遇到过吗?Caused by: com.github.shyiko.mysql.binlog.event.deserialization.MissingTableMapEventException: No TableMapEventData has been found for table id:7452.....

问答 2023-10-18 来自:开发者社区

Flink CDC现在MySQL cdc可以实现动态加表嘛。读取外部存储改变cdc读取的表?

Flink CDC现在MySQL cdc可以实现动态加表嘛。就是通过读取我存在外部存储的表名作为cdc对象,可以修改这个存储的值来改变cdc 监控的库表嘛?

问答 2023-10-18 来自:开发者社区

Flink CDC mysql对应的类型还是es与数据库对应的类型?

Flink CDC像这种同步到es中的用flink 与 mysql对应的类型还是es与数据库对应的类型?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注