问答 2024-06-13 来自:开发者社区

Flink访问Iceberg Connector支持Apache Iceberg v2表格式吗

Flink访问Iceberg Connector支持Apache Iceberg v2表格式吗

文章 2024-03-12 来自:开发者社区

Apache Hudi重磅RFC解读之存量表高效迁移机制

1. 摘要 随着Apache Hudi变得越来越流行,一个挑战就是用户如何将存量的历史表迁移到Apache Hudi,Apache Hudi维护了记录级别的元数据以便提供upserts和增量拉取的核心能力。为利用Hudi的upsert和增量拉取能力,用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。 2. 背景 为了更好的了解此RFC...

Apache Hudi重磅RFC解读之存量表高效迁移机制
文章 2024-03-12 来自:开发者社区

一文彻底弄懂Apache Hudi不同表类型

1. 摘要 Apache Hudi提供了不同的表类型供根据不同的需求进行选择,提供了两种类型的表 •Copy On Write(COW)•Merge On Read(MOR) 2. 术语介绍 在深入研究 COW 和 MOR 之前,让我们先了解一下 Hudi 中使用的一些术语,以便更好地理解以下部分。 2.1 数据文件/基础文件 Hudi将数据以列存...

一文彻底弄懂Apache Hudi不同表类型
文章 2024-01-22 来自:开发者社区

Apache Paimon 表模式最佳实践

01前言Apache Paimon 作为数据湖对各种场景有着完整的功能支持,看完这篇文章,你可以了解到 Paimon 有哪几种表模式。对应哪些场景。此文部分内容来自 Paimon 官网:https://paimon.apache.org/docs/master/02概览上图描述了大致所有表模式的配置及能力,在下文中,会逐个简单介绍下。以上的所有表模式在最新版本中已得到生产验证。03主键表主键表是....

Apache Paimon 表模式最佳实践
文章 2023-12-06 来自:开发者社区

Apache Flink目前不支持直接写入MaxCompute,但是可以通过Hive Catalog将Flink的数据写入Hive表

Apache Flink目前不支持直接写入MaxCompute,但是可以通过Hive Catalog将Flink的数据写入Hive表,然后再通过Hive与MaxCompute的映射关系将数据同步到MaxCompute。 首先,你需要在Flink中配置Hive Catalog,然后创建一个Hive表,这个表的存储位置指向MaxC...

问答 2022-11-04 来自:开发者社区

Apache HBase中区域什么?表增长时区域有变化吗?

Apache HBase中区域什么?表增长时区域有变化吗?

问答 2022-11-04 来自:开发者社区

Apache HBase中一个表包括什么?表中区域大小增长会发生什么呢?

Apache HBase中一个表包括什么?表中区域大小增长会发生什么呢?

问答 2022-11-04 来自:开发者社区

Apache HBase中分列族后可做什么呢?表怎样分区域?

Apache HBase中分列族后可做什么呢?表怎样分区域?

问答 2022-11-04 来自:开发者社区

Apache HBase中什么可以作为行健?表的访问通过什么进行?

Apache HBase中什么可以作为行健?表的访问通过什么进行?

文章 2022-05-06 来自:开发者社区

Apache Hudi表自动同步至阿里云数据湖分析DLA

1. 引入Hudi 0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中,对于云上其他使用与Hive不同SQL语法MetaStore则无法支持,为解决这个问题,近期社区对原先的同步模块hudi-hive-sync进行了抽象改造,以支持将Hudi表同步到其他类型MetaStore中,如阿里云的数据湖分析DLA(https://www.aliyun.com/pro....

Apache Hudi表自动同步至阿里云数据湖分析DLA

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等