阿里云文档 2025-04-07

如何通过Flink CDC实时订阅AnalyticDB PostgreSQL的全量和增量数据

AnalyticDB for PostgreSQL提供自研的CDC连接器,基于PostgreSQL的逻辑复制功能实现订阅全量和增量数据,可与Flink无缝集成。该连接器能够高效捕获源表的实时变更数据,支持实时数据同步、流式处理等,助力企业快速响应动态数据需求。本文介绍如何通过阿里云实时计算Flink版CDC实时订阅AnalyticDB for PostgreSQL的全量和增量数据。

阿里云文档 2025-03-28

通过Flink将数据批量导入到Hologres

Hologres推出的新版Flink Connector插件,支持通过Flink将数据批量导入到Hologres,实现高效且低负载的数据导入。

阿里云文档 2025-03-26

如何使用Flink处理表格存储数据

本文为您介绍如何使用Flink计算表格存储(Tablestore)的数据,表格存储中的数据表或时序表均可作为实时计算Flink的源表或结果表进行使用。

问答 2025-03-21 来自:开发者社区

flink1.19和hive3.1.3,cdc从mysql同步数据到hive,插入时报错?

使用的是flink sql处理流程是从mysql进kafka之后,通过kafka插入hive,在插入数据时会报错,选了upsert-kafka,sql没有更新或者删除操作 Flink SQL> [ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.TableException: Table si...

阿里云文档 2025-02-19

使用Tablestore+Flink搭建高性能实时交易统计系统

本文为您介绍使用表格存储和Flink实现交易数据实时统计的样例场景、架构设计和实现方案。

阿里云文档 2024-08-14

清理过期数据

清理过期数据可以释放存储空间,优化资源利用并提升系统运行效率等。本文为您介绍如何清理Paimon表过期数据,包括调整快照文件过期时间、设置分区的过期时间、以及清理废弃文件。

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据

问题一:flink中,join如果不指定窗口,会把join结果一直存储下来吗? flink中,join如果不指定窗口,会把join结果一直存储下来吗? 参考答案: Apache Flink 中,如果不指定窗口进行 join,join 结果不会无限期地存储下来。在无窗口的情况下进行 join,Flink 会根据数据流的到达顺序和关联键进行即时 join。...

实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据
问答 2022-10-24 来自:开发者社区

当我使用flink cdc+ iceberg+hive同步数据,启用upsert时,提交sql jo

当我使用flink cdc+ iceberg+hive同步数据,启用upsert时,提交sql job报以下错误提示Equality field columns shouldn't be empty 已经设置了主键,使用了iceberg 的v2,请问是要在哪里设置一下吗

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等