巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践
随着数据湖技术的不断发展，越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架，它支持流式处理和批处理，能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...
【破晓数据湖新时代！】巴别时代揭秘：Apache Paimon 打造 Streaming Lakehouse 的神奇之旅！
随着数据湖技术的不断发展，越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架，它支持流式处理和批处理，能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...
Apache Paimon:Streaming Lakehouse is Coming
01数据分析架构从 Hive 到 Lakehouse旧的数据分析架构如 Hive、Hadoop、HDFS、MapReduce、HiveSQL、Hive 存储等，如今国内外的各大企业都在逐步转向 Lakehouse 架构，即 Spark、Flink、Presto，底层的湖存储格式：Iceberg、Delta、Hudi，以及下面数据存储在 HDFS、对象存储 OSS 或 S3。1.1 Lakehou....
Apache Paimon:Streaming Lakehouse is Coming
摘要：本文整理自阿里云智能开源表存储负责人，PPMC Member of Paimon，Flink PMC 成员李劲松（花名：之信）、同程旅行大数据专家，Apache Hudi & Paimon Contributor 吴祥平、汽车之家大数据计算平台负责人邸星星、联通数科大数据高级技术专家&...
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用（下）
-- 在paimon-dwd层创建宽表 CREATE TABLE IF NOT EXISTS dwd.`dwd_business_order` ( `reference_no` varchar(50) NOT NULL COMMENT '委托单号主键', `bondex_shy_flag` varchar(8) NOT NULL COMMENT '区分', `is_server_item` in....
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用（上）
摘要本文主要介绍作为供应链物流服务商海程邦达在数字化转型过程中采用 Paimon 实现流式数仓的落地方案。我们提供一个适用于 k8s 环境并且易于上手的生产操作手册，旨在帮助读者快速掌握 Paimon 的使用方法。公司业务情况介绍大数据技术痛点以及选型生产实践问题排查分析未来规划01公司业务情况介绍海程邦达集团一直专注于供应链物流领域，通过打造优秀的国际化物流平台，为客户提供端到端一站式智慧型供....
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用（中）
在streampark添加flink conf构建 flink1.16.0 基础镜像从 dockerhub拉取对应版本的镜像#拉取镜像 docker pull flink:1.16.0-scala_2.12-java8 #打上 tag docker tagflink:1.16.0-scala_2.12-java8 registry-vpc.cn-zhangjiakou.aliyuncs.com.....
Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座
摘要：本文整理自阿里云开源大数据表存储团队负责人，阿里巴巴高级技术专家李劲松（之信），在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分： 流计算邂逅数据湖 Paimon CDC 实时入湖 Paimon 不止 CDC 入湖 总结与生态 点击查看原文视频 & 演讲PPT 一、流计算邂逅数据湖 流计算 1.0 实...
巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践
摘要：本文主要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。我们基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设，以便优先替换....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Apache您可能感兴趣
- Apache elasticsearch
- Apache方案
- Apache分析
- Apache doris
- Apache库
- Apache命令
- Apache服务器
- Apache数据处理
- Apache flink
- Apache湖仓
- Apache配置
- Apache rocketmq
- Apache安装
- Apache php
- Apache dubbo
- Apache tomcat
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache kafka
- Apache从入门到精通
- Apache hudi
- Apache实践
- Apache应用
- Apache日志
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！
+关注