文章 2024-11-22 来自:开发者社区

场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析

以GitHub公开事件数据为例,通过使用Flink、Hologres构建实时数仓,实现海量数据实时分析 搭建实时数仓时,Flink可对待处理数据进行实时清洗,完成后Hologres可直接读取Flink中的数据,示例架构如图所示。 一、实践步骤 1、创建专有网络VPC和交换机 登录专有网络管理控制台,单击专有网络。...

场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
文章 2024-11-21 来自:开发者社区

【实践】基于Hologres+Flink搭建GitHub实时数据查询

以GitHub公开事件数据为例,通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具,实现海量数据实时分析的通用架构与核心步骤。 搭建实时数仓时,Flink可对待处理数据进行实时清洗,完成后Hologres可直接读取Flink中的数据,示例架构如图所示。 一、创建专有网络VPC...

【实践】基于Hologres+Flink搭建GitHub实时数据查询
阿里云文档 2024-10-22

如何实现Flink+DLF数据入湖与分析

数据湖构建(DLF)可以结合阿里云实时计算Flink版(Flink VVP),以及Flink CDC相关技术,实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力,实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案具体步骤。

阿里云文档 2024-09-19

Flink+DLF数据入湖与分析实践

阿里云实时计算Flink版结合DLF Paimon Catalog,实现Flink作业结果到数据湖的高效写入和元数据同步,支持无缝对接多种计算引擎并优化数据湖管理,本文为您介绍具体的操作流程。

文章 2024-08-21 来自:开发者社区

OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决

问题一:未来规划中如何基于 Flink 打造流批一体的数据计算平台? 未来规划中如何基于 Flink 打造流批一体的数据计算平台? 参考回答: 未来规划中,将基于 Flink 的流处理能力,结合其批处理功能,打造流批一体的数据计算平台。这将使得数据在平台内既可以按照流式处理实时数据,也可以按照批处理模式处理历史数据,实现数据处理的统一和高效。 ...

文章 2024-08-21 来自:开发者社区

OneSQL OLAP实践问题之Flink SQL Gateway的功能如何解决

问题一:在 Onesql OLAP 分析平台的查询流程中,Flink SQL Gateway 扮演了什么角色? 在 Onesql OLAP 分析平台的查询流程中,Flink SQL Gateway 扮演了什么角色? 参考回答: "在 Onesql OLAP 分析平台的查询流程中,Flink SQL Gateway 负责接收从 OneSQL 后端转发来的...

OneSQL OLAP实践问题之Flink SQL Gateway的功能如何解决
阿里云文档 2024-07-17

Flink SQL开发调优实践

说明实时计算Flink版控制台界面和功能可能会发生变化,具体请以实际控制台为准。

文章 2024-01-22 来自:开发者社区

Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案

01数据分析架构演进目前,数据分析架构正在从Hive到Lakehouse的演变。传统数仓包括Hive、Hadoop正在往湖、Lakehouse 架构上演进,Lakehouse 架构包括Presto、Spark、OSS,湖格式 (Delta、Hudi、Iceberg) 等等架构,这是现在比较大的趋势。Lakehouse 架构包含了诸多新能力。首先OSS比起传统的HDFS有了更加弹性、更加计算存储分....

Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
文章 2023-12-26 来自:开发者社区

快速实践: 通过 Flink CDC 一键整库同步 MongoDB 到 Paimon

导言 MongoDB 是一个比较成熟的文档数据库,在业务场景中,通常需要采集 MongoDB 的数据到数据仓库或数据湖中,面向分析场景使用。 Flink MongoDB CDC 是 Flink CDC 社区提供的一个用于捕获变更数据(Change Data Capturing)的 Flink 连接器,可连接到 MongoDB 数据库和集合,并捕获其中的文档增加、更新、替换、删除等变更操作。 ...

快速实践: 通过 Flink CDC 一键整库同步 MongoDB 到 Paimon
文章 2023-12-06 来自:开发者社区

「FFA 动手实践」Flink+Hologres 搭建实时数仓

资深 Flink 专家授课,手把手带领开发者实操。以国内某电商平台为例,基于 Flink+Hologres 架构搭建实时数仓,实现数据的实时加工清洗和对接上层应用数据查询,形成实时数据的分层和复用,支撑业务方的报表查询及个性化推荐等多个业务场景。 ■ 报名方式: 名额 100 名,开发者需携带电脑参加。 购买 FFA 门票并勾选训练营选项,购票地址: https://www.huo...

「FFA 动手实践」Flink+Hologres 搭建实时数仓

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注