Apache paimon实践的相关内容

文章 2025-03-01 来自：开发者社区

小米基于 Apache Paimon 的流式湖仓实践

摘要：本文整理自计算平台软件研发工程师钟宇江老师在 Flink Forward Asia 2024 流式湖仓（一）专场中的分享。内容主要为以下三部分：背景介绍基于 Paimon 构建近实时数据湖仓未来展望 01背景介绍第一部分是背景介绍，简单介绍之前的典型的实时数仓的架构，以及引入 Apache Pai...

文章 2025-02-26 来自：开发者社区

小米基于 Apache Paimon 的流式湖仓实践

摘要：本文整理自计算平台软件研发工程师钟宇江老师在 Flink Forward Asia 2024 流式湖仓（一）专场中的分享。内容主要为以下三部分：一、背景介绍二、基于 Paimon 构建近实时数据湖仓三、未来展望一、背景介绍第一部分是背景介绍，简单介绍之前的典型的实时数仓的架构，以及引入 Apache Paimon 的原因。 1.1 当前实时湖仓计算框架以 Flink + ...

文章 2024-11-04 来自：开发者社区

巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践

随着数据湖技术的不断发展，越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架，它支持流式处理和批处理，能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-01-22 来自：开发者社区

背景网易新闻是中国领先的全媒体新闻门户网站，提供全面、及时、权威的新闻资讯服务。推荐产品团队主要致力于网易新闻 APP 端内资讯的个性化推荐，加强用户粘性，提高用户的阅读体验。随着业务的持续发展，原有的推荐数仓架构逐渐满足不了业务对数据的多样性需求，数据处理流程也愈发复杂。近期，我们与杭研同事一起深入调研了数据湖方案 Apache Paimon，以此为底座，旨在解决传统数仓在数据更新能力上存在的....

文章 2023-08-11 来自：开发者社区

Apache Paimon 在同程旅行的实践进展

摘要：本文整理自同程旅行大数据计算组负责人吴祥平，在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： Apache Paimon 引入 Apache Paimon 应用建设 Apache Paimon 优化实践未来规划和期待点击查看原文视频 & 演讲PPT 3 月底，在 Paimon 的公众号上发表了一篇文章，展...

文章 2023-05-16 来自：开发者社区

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于 Apache Paimon 构建流批一体湖仓，主要分享：整库入湖，TB 级数据近实时入湖基于 Flink + Paimon 的数仓批 ETL 建设基于 Flink + Paimon 的数仓流 ETL 建设数仓 OLAP 与数据地图点击进入 Apache Paimon 官网一、尘锋信息介绍尘锋信息 (www.dustess.com) 是基于企业微信生态的一站式私域运营管理解决方案....

文章 2023-04-27 来自：开发者社区

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要：本文主要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。我们基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设，以便优先替换....

文章 2023-03-30 来自：开发者社区

Apache Paimon 在同程旅行的探索实践

摘要：本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。在同程旅行的业务场景下，通过使用 Paimon 替换 Hudi，实现了读写性能的大幅提升（写入性能 3.3 倍，查询性能 7.7 倍），接下来将分为如下几个部分进行详细介绍：湖仓场景现状和遇到的问题遇见 Apache PaimonApache Paimon 的应用实践问题发现和解决未来规划点击查看更多技术内容1.湖仓场....