阿里云文档 2025-05-23

外部项目1.0迁移为湖仓一体2.0方案

由于湖仓一体1.0的外部项目(简称:外部项目1.0)功能及用法不再发展,且会收敛下线,如果继续使用MaxCompute访问联邦数据源,联邦方案需要升级至湖仓一体2.0。本文介绍了使用湖仓一体2.0开启项目级别元数据支持的Schema开关和SQL语法支持的Schema开关后,存量作业的兼容情况,以及将湖仓一体1.0外部项目的存量作业迁移至湖仓一体2.0外部Schema的不同场景的修改方法,以便于您进...

阿里云文档 2025-04-27

基于Flink+Paimon+StarRocks搭建流式湖仓

本文为您介绍如何通过实时计算Flink版、流式数据湖仓Paimon和分析型数据库StarRocks搭建流式湖仓。

阿里云文档 2024-12-17

Hologres成本节省方案

本文将介绍如何根据Hologres实例的阶段选择合适的成本节省方案,以帮助您的业务实现降低成本、提高效率的目标。

阿里云文档 2024-12-16

如何通过Hologres进行超大规模标签计算、画像分析

当业务标签越来越多时(大于1000列),一般就认为是超大规模的场景,宽表标签计算的方案将不再适合,因为当列越多时,更新效率将会越慢。本文将会介绍如何通过Hologres进行超大规模标签计算、画像分析。

文章 2024-07-29 来自:开发者社区

如何在Dataphin中构建Flink+Paimon流式湖仓方案

1. 背景 当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。 湖仓一体架构的核心技术支撑,来自于table-format技术。目前开源支持的有icebe...

如何在Dataphin中构建Flink+Paimon流式湖仓方案
阿里云文档 2024-06-19

千万级数据量实时统计UV

Hologres针对小规模数据量(千万级)的UV计算场景,提供即席UV查询方案,支持您使用COUNT DISTINCT对明细表进行UV计算,尤其当您需要从原始数据中获取最准确、最即时的结果时。本方案避免了使用预聚合表或其他复杂的数据处理技术,以简化查询过程。

文章 2024-04-22 来自:开发者社区

友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案

1. 友盟+介绍 友盟+ 以“数据智能,驱动业务增长”为使命,为移动应用开发者和企业提供包括统计分析、性能监测、消息推送、智能认证等一站式解决方案。截止 2023 年 6 月,已累计为 270 万移动应用和 980 万家网站,提供十余年的专业数据服务。 作为国内最大的移动应用统计服务商,其统计分析产品 U-Ap...

友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案
文章 2024-01-22 来自:开发者社区

Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案

01数据分析架构演进目前,数据分析架构正在从Hive到Lakehouse的演变。传统数仓包括Hive、Hadoop正在往湖、Lakehouse 架构上演进,Lakehouse 架构包括Presto、Spark、OSS,湖格式 (Delta、Hudi、Iceberg) 等等架构,这是现在比较大的趋势。Lakehouse 架构包含了诸多新能力。首先OSS比起传统的HDFS有了更加弹性、更加计算存储分....

Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
文章 2023-12-21 来自:开发者社区

基于 Flink SQL 和 Paimon 构建流式湖仓新方案

本文整理自阿里云智能开源表存储负责人,Founder of Paimon,Flink PMC 成员李劲松在云栖大会开源大数据专场的分享。本篇内容主要分为三部分: 数据分析架构演进介绍 Apache PaimonFlink + Paimon 流式湖仓 一、数据分析架构演进 目前,数据分析架构正在从 Hive 到 Lakehouse...

基于 Flink SQL 和 Paimon 构建流式湖仓新方案
文章 2023-11-03 来自:开发者社区

Paimon+StarRocks 湖仓一体数据分析方案

01传统数据仓库分析实现方案简介传统数据仓库分析的实现是一个典型 Lambda 架构,通过下图我们可以看出传统架构主要分为两层:上层是实时链路层,下层是离线链路层。它们的数据通过左侧的数据摄入层,通过不同路径将数据统一整合到像 Kafka 这样的消息队列中间件中,然后将数据分为两份相同的数据,分别由实时链路和批量链路进行处理,最终汇总到数据服务层,实现对用户提供数据分析服务的能力。Lambda ....

Paimon+StarRocks 湖仓一体数据分析方案

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云原生数据仓库AnalyticDB

定期发送云原生数据仓库AnalyticDB产品重大发布和技术干货

+关注