阿里云文档 2025-04-07

如何通过Flink CDC实时订阅AnalyticDB PostgreSQL的全量和增量数据

AnalyticDB for PostgreSQL提供自研的CDC连接器,基于PostgreSQL的逻辑复制功能实现订阅全量和增量数据,可与Flink无缝集成。该连接器能够高效捕获源表的实时变更数据,支持实时数据同步、流式处理等,助力企业快速响应动态数据需求。本文介绍如何通过阿里云实时计算Flink版CDC实时订阅AnalyticDB for PostgreSQL的全量和增量数据。

阿里云文档 2025-03-28

通过Flink将数据批量导入到Hologres

Hologres推出的新版Flink Connector插件,支持通过Flink将数据批量导入到Hologres,实现高效且低负载的数据导入。

阿里云文档 2025-03-26

如何使用Flink处理表格存储数据

本文为您介绍如何使用Flink计算表格存储(Tablestore)的数据,表格存储中的数据表或时序表均可作为实时计算Flink的源表或结果表进行使用。

阿里云文档 2025-02-19

使用Tablestore+Flink搭建高性能实时交易统计系统

本文为您介绍使用表格存储和Flink实现交易数据实时统计的样例场景、架构设计和实现方案。

问答 2025-02-17 来自:开发者社区

flink 读取oss-hdfs数据问题

Flink 尝试从 OSS 获取分区信息时,由于权限不足导致访问被拒绝。但是注意到这里的endpoint实际上是oss的endpoint,但是我的数据存储在oss-hdfs中,请问我该如何访问到oss-hdfs中的数据?已经在配置文件中设置fs.oss.jindo.endpoint: cn-beijing.oss-dls.aliyuncs.com

阿里云文档 2024-08-14

清理过期数据

清理过期数据可以释放存储空间,优化资源利用并提升系统运行效率等。本文为您介绍如何清理Paimon表过期数据,包括调整快照文件过期时间、设置分区的过期时间、以及清理废弃文件。

文章 2024-07-17 来自:开发者社区

实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决

问题一:Flink CDC里flinkcdc写hudi的时候这个错误怎么弄? Flink CDC里flinkcdc写hudi的时候这个错误怎么弄? own Source) at org.apache.hadoop.hdfs.DF...

实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
问答 2023-01-16 来自:开发者社区

Flink往hdfs某个指定分区写数据,写一段时间为什么重命名失败?

最近flink落hdfs遇到一个问题,往hdfs某个指定分区写数据,写一段时间taskmanager发生自重启就会出现相同的文件,导致重命名失败,.part-a55f572a-4ccc-47bf-b8d5-9a2591907190-2-87.inprogress.dc5a6ac4-bbc3-4881-ac8e-89d45c6efde9

文章 2022-02-17 来自:开发者社区

Flink落HDFS数据按事件时间分区解决方案

0x1 摘要 Hive离线数仓中为了查询分析方便,几乎所有表都会划分分区,最为常见的是按天分区,Flink通过以下配置把数据写入HDFS, BucketingSink<Object> sink = new BucketingSink<>(path); //通过这样的方式来实现数据跨天分区 sink.setBucketer(new DateTimeBucketer<&a...

问答 2022-02-15 来自:开发者社区

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: 74a2d820909fee963c4dea371b5c236c) at org.apache.flink.client.pr...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问