文章 2024-11-04 来自:开发者社区

Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地

众所周知,LakeHouse 架构是当前大数据领域领先的技术架构之一。LakeHouse 由海外知名大数据公司 Databricks 提出,旨在融合数据湖的灵活性及成本效益与传统数据仓库的强大事务支持、高性能分析能力于一体,并且能够无缝集成机器学习等多种应用场景,为企业提供了更加全面的数据管理和分析平台。 Apache Spark 作为近十几年来大数据领域最优秀的开源项目之一,...

Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地
文章 2024-11-04 来自:开发者社区

巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践

随着数据湖技术的不断发展,越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架,它支持流式处理和批处理,能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-09-06 来自:开发者社区

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。 Tr.....

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
文章 2024-08-09 来自:开发者社区

【破晓数据湖新时代!】巴别时代揭秘:Apache Paimon 打造 Streaming Lakehouse 的神奇之旅!

随着数据湖技术的不断发展,越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架,它支持流式处理和批处理,能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-08-02 来自:开发者社区

Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、Paimon、Iceberg、OSS、Del....

Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
文章 2024-07-25 来自:开发者社区

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。 为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、.....

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)
文章 2024-07-11 来自:开发者社区

Apache Doris + Apache Hudi 快速搭建指南|Lakehouse 使用手册(一)

作者:SelectDB 技术团队 导读:湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储...

Apache Doris + Apache Hudi 快速搭建指南|Lakehouse 使用手册(一)
文章 2024-03-12 来自:开发者社区

使用Apache Hudi构建下一代Lakehouse

1. 概括 本文介绍了一种称为Data Lakehouse的现代数据架构范例。Data Lakehouse相比于传统的数据湖具有很多优势,本文说明了如何通过现代化数据平台并使用Lakehouse架构来应对客户端所面临的可扩展性、数据质量和延迟方面的挑战。本文介绍了使用Apache Hudi实现Data Lakehouse的基本知识和步骤。 2. 前言 过去十年随着物联网、...

使用Apache Hudi构建下一代Lakehouse
文章 2024-03-12 来自:开发者社区

使用Apache Pulsar + Hudi 构建Lakehouse方案了解下?

由StreamNative Founder & CEO 郭斯杰 执笔的Apache Pulsar作为Lakehouse的提案,阐述如何利用Apache Hudi解决Pulsar作为Lakehouse的痛点问题,强烈推荐! 1. 动机 Lakehouse最早由Databricks公司提出,其可作为低成本、直接访问云存储并提供传统DBMS管系统性能和ACID事务、版...

使用Apache Pulsar + Hudi 构建Lakehouse方案了解下?
文章 2024-03-07 来自:开发者社区

Halodoc使用Apache Hudi构建Lakehouse的关键经验

Halodoc 数据工程已经从传统的数据平台 1.0 发展到使用 LakeHouse 架构的现代数据平台 2.0 的改造。在我们之前的博客中,我们提到了我们如何在 Halodoc 实施 Lakehouse 架构来服务于大规模的分析工作负载。我们提到了平台 2.0 构建过程中的设计注意事项、最佳实践和学习。本博客中我们将详细介绍 Apache Hudi 以及它如何帮助我们构建事务数据湖。我们还将重....

Halodoc使用Apache Hudi构建Lakehouse的关键经验

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像