阿里云文档 2024-12-24

物化表,物化表快速入门

本文将基于物化表,带您快速体验如何构建流批一体的湖仓分析处理链路,以及通过修改物化表新鲜度,完成由批到流的切换,实现数据的实时更新。

文章 2024-11-19 来自:开发者社区

基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析

概述 在这个示例中,我们基于阿里云的EMR Serverless StarRocks构建一个游戏玩家画像和行为分析平台,该案例通过收集玩家的行为日志,进行处理和分析,并最终将分析结果通过报表的形式展现给业务人员。 数据架构图 前提条件 已开通E-MapRed...

基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
阿里云文档 2024-10-17

基于Flink搭建流式湖仓OpenLake方案

阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上,提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据,提供湖仓数据表和文件的安全访问及IO加速,并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎,通过流式数据湖仓Paimon(使用DLF 2.0存储)和分析型数据库StarRocks搭建流式...

文章 2024-07-29 来自:开发者社区

如何在Dataphin中构建Flink+Paimon流式湖仓方案

1. 背景 当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。 湖仓一体架构的核心技术支撑,来自于table-format技术。目前开源支持的有icebe...

如何在Dataphin中构建Flink+Paimon流式湖仓方案
文章 2024-04-22 来自:开发者社区

友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案

1. 友盟+介绍 友盟+ 以“数据智能,驱动业务增长”为使命,为移动应用开发者和企业提供包括统计分析、性能监测、消息推送、智能认证等一站式解决方案。截止 2023 年 6 月,已累计为 270 万移动应用和 980 万家网站,提供十余年的专业数据服务。 作为国内最大的移动应用统计服务商,其统计分析产品 U-Ap...

友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案
文章 2024-01-22 来自:开发者社区

Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案

01数据分析架构演进目前,数据分析架构正在从Hive到Lakehouse的演变。传统数仓包括Hive、Hadoop正在往湖、Lakehouse 架构上演进,Lakehouse 架构包括Presto、Spark、OSS,湖格式 (Delta、Hudi、Iceberg) 等等架构,这是现在比较大的趋势。Lakehouse 架构包含了诸多新能力。首先OSS比起传统的HDFS有了更加弹性、更加计算存储分....

Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
文章 2023-12-21 来自:开发者社区

基于 Flink SQL 和 Paimon 构建流式湖仓新方案

本文整理自阿里云智能开源表存储负责人,Founder of Paimon,Flink PMC 成员李劲松在云栖大会开源大数据专场的分享。本篇内容主要分为三部分: 数据分析架构演进介绍 Apache PaimonFlink + Paimon 流式湖仓 一、数据分析架构演进 目前,数据分析架构正在从 Hive 到 Lakehouse...

基于 Flink SQL 和 Paimon 构建流式湖仓新方案

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注