阿里云文档 2025-04-07

如何通过Flink CDC实时订阅AnalyticDB PostgreSQL的全量和增量数据

AnalyticDB for PostgreSQL提供自研的CDC连接器,基于PostgreSQL的逻辑复制功能实现订阅全量和增量数据,可与Flink无缝集成。该连接器能够高效捕获源表的实时变更数据,支持实时数据同步、流式处理等,助力企业快速响应动态数据需求。本文介绍如何通过阿里云实时计算Flink版CDC实时订阅AnalyticDB for PostgreSQL的全量和增量数据。

阿里云文档 2025-03-26

如何使用Flink处理表格存储数据

本文为您介绍如何使用Flink计算表格存储(Tablestore)的数据,表格存储中的数据表或时序表均可作为实时计算Flink的源表或结果表进行使用。

阿里云文档 2025-02-19

使用Tablestore+Flink搭建高性能实时交易统计系统

本文为您介绍使用表格存储和Flink实现交易数据实时统计的样例场景、架构设计和实现方案。

问答 2024-09-25 来自:开发者社区

flink任务关联维表时,怎么取维表最新一条数据

flink任务关联维表时,怎么取维表最新一条数据

问答 2024-08-21 来自:开发者社区

这种情况我正在运行的Flink任务能读到新加的200条数据吗?

我现在用 MC中的表作为维表,这个表本来有1000条数据,我启动任务后,正常运行,之后MC中的这个表数据增加了,变成了 1200条数据,这种情况我正在运行的Flink任务能读到新加的200条数据吗?

问答 2024-08-07 来自:开发者社区

在Flink CDC中,flink sql任务同步mysql数据时,可能是什么原因?

在Flink CDC中,flink sql任务同步mysql数据时,taskmanager日志中存在报错,但是任务没挂,全量数据也没同步到upsert-kafka中,请问大佬们可能是什么原因?

文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之任务无法实时同步MySQL到StarRocks中修改的数据,是什么原因

问题一:Flink CDC里mysql8 然后不是默认开始了binlog吗? Flink CDC里我用的mysql8 然后不是默认开始了binlog吗。然后我运行github上面的demo 并且设置了 startupOptions 但是控制台还是没有输出数据这是怎么回事? 参考答案: 是binlog生成日志的问题。 关于本问...

实时计算 Flink版产品使用问题之任务无法实时同步MySQL到StarRocks中修改的数据,是什么原因
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在进行数据同步时,重新创建了一个新的任务,但发现无法删除旧任务同步的历史数据,是什么导致的

问题一:有没有 知道 flink operator 默认添加的这个 confimap 我怎么修改啊 ? 有没有 知道 flink on k8s operator , operator 默认添加的这个 confimap 我怎么修改啊 ?我重新制作了一个flink 镜像 修改了 log4j-console.properties 但是容器启动后 还是用 原来 的log4j-console.pr...

实时计算 Flink版产品使用问题之在进行数据同步时,重新创建了一个新的任务,但发现无法删除旧任务同步的历史数据,是什么导致的
问答 2024-07-09 来自:开发者社区

flink cdc 任务重启,读取新增的表数据不全,没有读取到全量数据

flink cdc 任务MySqlSource.databaseList处理的表为order_1表,现在由于业务迭代需要新增表order_2,这个表order_2在数据库已经存在,我的处理步骤是这样的:先保存了flink任务checkpoint,然后暂停flink任务,修改flink代码,在 MySqlSource.databaseList里增加表order_2,然后基于checkpoint重启....

问答 2024-06-25 来自:开发者社区

在Flink CDC中我往kafka push一条消息,为什么任务A和B都消费到这条数据了呢?

在Flink CDC中kafka做为sink时,用DDL的方式,指定properties.group.id='abc',建两个一模一样的采集任务A和B,同样的sink,这个时候我往kafka push一条消息,为什么任务A和B都消费到这条数据了呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注
X