文章 2024-11-04 来自:开发者社区

Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地

众所周知,LakeHouse 架构是当前大数据领域领先的技术架构之一。LakeHouse 由海外知名大数据公司 Databricks 提出,旨在融合数据湖的灵活性及成本效益与传统数据仓库的强大事务支持、高性能分析能力于一体,并且能够无缝集成机器学习等多种应用场景,为企业提供了更加全面的数据管理和分析平台。 Apache Spark 作为近十几年来大数据领域最优秀的开源项目之一,...

Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地
文章 2024-11-04 来自:开发者社区

巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践

随着数据湖技术的不断发展,越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架,它支持流式处理和批处理,能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-08-09 来自:开发者社区

【破晓数据湖新时代!】巴别时代揭秘:Apache Paimon 打造 Streaming Lakehouse 的神奇之旅!

随着数据湖技术的不断发展,越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架,它支持流式处理和批处理,能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-07-25 来自:开发者社区

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。 为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、.....

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)
文章 2024-01-22 来自:开发者社区

Apache Paimon:Streaming Lakehouse is Coming

01数据分析架构从 Hive 到 Lakehouse旧的数据分析架构如 Hive、Hadoop、HDFS、MapReduce、HiveSQL、Hive 存储等,如今国内外的各大企业都在逐步转向 Lakehouse 架构,即 Spark、Flink、Presto,底层的湖存储格式:Iceberg、Delta、Hudi,以及下面数据存储在 HDFS、对象存储 OSS 或 S3。1.1 Lakehou....

Apache Paimon:Streaming Lakehouse is Coming
文章 2024-01-05 来自:开发者社区

Apache Paimon:Streaming Lakehouse is Coming

摘要:本文整理自阿里云智能开源表存储负责人,PPMC Member of Paimon,Flink PMC 成员李劲松(花名:之信)、同程旅行大数据专家,Apache Hudi & Paimon Contributor 吴祥平、汽车之家大数据计算平台负责人邸星星、联通数科大数据高级技术专家&...

Apache Paimon:Streaming Lakehouse is Coming
文章 2023-08-21 来自:开发者社区

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

摘要:本文整理自阿里云开源大数据表存储团队负责人,阿里巴巴高级技术专家李劲松(之信),在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分: 流计算邂逅数据湖 Paimon CDC 实时入湖 Paimon 不止 CDC 入湖 总结与生态 点击查看原文视频 & 演讲PPT 一、流计算邂逅数据湖 流计算 1.0 实...

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座
文章 2023-04-27 来自:开发者社区

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要:本文主要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。我们基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的落地实践主要分为三期:第一期是在调研验证的基础上进行数仓分层,并且上线一些简单的业务验证效果;第二期是实现流式数仓的基础设施建设,以便优先替换....

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像