文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之全量历史数据比较多,全量同步阶段时间长,是否会同时读取binlog进行合并输出

问题一:Flink CDC这个意思是全量阶段也会进行binlog消费吧? Flink CDC这个意思是全量阶段也会进行binlog消费吧? 参考答案: 全量阶段走的jdbc不消费binlog 关于本问题的更多回答可点击进行查看: https://developer.aliyun.com/ask/582302 ...

实时计算 Flink版产品使用合集之全量历史数据比较多,全量同步阶段时间长,是否会同时读取binlog进行合并输出
问答 2023-12-25 来自:开发者社区

Flink CDC全量结束还是会 按照之前的binlog位点进行消费 而不是进行合并输出?

Flink CDC全量结束还是会 按照之前的binlog位点进行消费 而不是进行合并输出?那是不是其他表的binlog也会被阻塞消费呀?

问答 2023-12-25 来自:开发者社区

Flink CDC全量历史数据比较多,全量同步阶段时间长 会同时读取binlog进行合并输出吧?

Flink CDC全量历史数据比较多,全量同步阶段时间长 会同时读取binlog进行合并输出吧,比如新增一张表全量同步耗时三个小时,binlog文件只保留近一个小时的,会影响全量到增量的衔接么,会阻塞其它表的binlog采集么?

问答 2023-08-13 来自:开发者社区

大数据计算MaxCompute我现在弄的这个数据合并 历史数据+datahub的binlog变化?

大数据计算MaxCompute我现在弄的这个数据合并 历史数据+datahub的binlog变化数据 ,跑起来贼耗时, 历史数据有七八亿, 每天对齐增删改都有, 想搞实时有点难搞,你们的实时 准实时咋搞的?

问答 2022-08-16 来自:开发者社区

flink cdc mysql 有 catalog功能吗? 多个任务的binlog 合并怎么实现?

flink cdc mysql 有 catalog功能吗? 多个任务的binlog 合并怎么实现?

问答 2022-02-15 来自:开发者社区

如何合并 binlog stream 和 table stream?

我在用 Debezium 从数据库读取最新的 binlog 写入 Kafka,比如对于 mysql_server.test.tableA 有一个 topic “mysql_server.test.tableA”,我需要在 Flink 里实现这样的逻辑: 先连接上 Kafka 开始消费 topic “mysql_server.test.tableA”,确保连接成功,记为 binlog-strea.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问