阿里云文档 2025-02-08

如何使用flink-dts-connector文件

完成数据订阅通道的配置后,您可以使用flink-dts-connector文件消费通道中的数据,用于Flink客户端消费。本文介绍如何使用flink-dts-connector文件。

问答 2024-10-29 来自:开发者社区

flink cdc paimon设置了file.format为parquet但生成的文件依然是orc

问题描述 我在使用Flink + Flink cdc + Paimon + oss 做数据同步,在cdc的yaml里指定了paimon的文件格式是parquet,但生成的文件依然是默认的文件格式orc,请问是什么原因? 软件版本 Flink :1.18.1Flink CDC : 3.1.0Paimon: 0.8.0 cdc yaml source: type: mysql name: M...

阿里云文档 2024-05-30

使用Flink访问LindormDFS

本文介绍使用自建的Apache Flink访问LindormDFS。

问答 2023-09-20 来自:开发者社区

flink读取 hdfs的parquet文件时,有没有忽略损坏文件的配置?

flink读取 hdfs的parquet文件时,有没有忽略损坏文件的配置。spark里面是有这个参数的?Flink Filesystem connector

问答 2023-05-13 来自:开发者社区

Flink1.15读取hdfs目录下所有parquet文件并生成hfile

我需要使用flink1.15去读取hdfs目录下的parquet文件,并且将其转为hfile,请问有合适的样例不,非常感谢 希望可以提供可运行样例,而非gpt样例

问答 2023-05-12 来自:开发者社区

有偿求助,Flink1.15读取hdfs中的parquet文件的Java样例

网上都是1.9版本的,里面用到的ParquetRowInputFormat在下面的依赖中已经没有了! org.apache.flink flink-parquet 1.15.0

问答 2023-04-23 来自:开发者社区

Flink中parquet文件的类型是在建表的时候指定的么?

Flink中parquet文件的类型是在建表的时候指定的么?

问答 2023-01-09 来自:开发者社区

大佬们,flink写parquet文件时,javaBean中有null值导致报错,咋解决的呢

大佬们,flink写parquet文件时,javaBean中有null值导致报错,咋解决的呢

问答 2023-01-09 来自:开发者社区

Flink 写parquet 文件 报错 org.apache.parquet.io.Parque

Flink 写parquet 文件 报错 org.apache.parquet.io.ParquetEncodingException: UTF-8 not supported. 有遇见过吗?

文章 2022-08-22 来自:开发者社区

Flink - 读取 Parquet 文件 By Scala / Java

一.引言parquet 文件常见与 Flink、Spark、Hive、Streamin、MapReduce 等大数据场景,通过列式存储和元数据存储的方式实现了高效的数据存储与检索,下面介绍 Flink 场景下如何读取 Parquet。Parquet 相关知识可以参考:Spark - 一文搞懂 parquet。编辑二.Parquet Read By Scala1.依赖准备与环境初始化import ....

Flink - 读取 Parquet 文件 By Scala / Java

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注