文章 2022-06-14 来自:开发者社区

【实时数仓篇】(02)基于 Flink 的典型 ETL 场景实现2

三、基于Flink实线典型场景3.1 维表join - 预加载维表方案1改进:在open() 新建一个线程定时加载维表,实现维度数据的周期性更新3.2 维表join - 预加载维表3.3 维表join - 热存储关联3.4 维表join - 广播维表3.5 维表join - Temporal table function join 3.6 双流join - 离线join vs. 实时j....

【实时数仓篇】(02)基于 Flink 的典型 ETL 场景实现2
文章 2022-06-14 来自:开发者社区

【实时数仓篇】(02)基于 Flink 的典型 ETL 场景实现1

文章目录一、前言二、实时数仓概述2.1 实时数仓产生背景2.2 离线数仓架构2.3 实时数仓产生背景2.4 实时数仓架构 - Lambda架构2.5 实时数仓架构 - kappa架构2.6 实时数仓架构 - 实时OLAP架构2.7 离线数仓 vs. 实时数仓三、基于Flink实线典型场景3.1 维表join - 预加载维表3.2 维表join - 预加载维表3.3 维表join - 热存储关联3....

【实时数仓篇】(02)基于 Flink 的典型 ETL 场景实现1
文章 2022-06-14 来自:开发者社区

【实时数仓篇】(01)美团 Flink 实时数仓应用2

4.3 DW层的建设解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范,统一的数据源。如果可能的化尽可能和离线保持一致。4.4 实时数仓维度数据建设变化频率低的维度可以通过离线仓库的维度数据,同步到缓存,或者通过公共服务提数据。通过维度服务查询,对用户屏蔽细节。变化频率高的维度通过维度数据的变化的消息构建拉链表通过事实数据计算衍生维度构建拉链表Tips:可以通过Hbase的MIN....

【实时数仓篇】(01)美团 Flink 实时数仓应用2
文章 2022-06-14 来自:开发者社区

【实时数仓篇】(01)美团 Flink 实时数仓应用1

文章目录一、前言二、实时数仓建设目的三、实时数仓的应用场景四、如何建设实时数仓4.1 实时数仓的整体的架构图4.2 ODS层的建设4.3 DW层的建设4.4 实时数仓维度数据建设4.5 实时数仓维度的使用4.6 实时数仓汇总层的建设五、仓库的质量保证一、前言本文是学习Flink社区在B站的实时数仓篇第一节课程的总结,1. Flink 实时数仓的应用讲师:黄伟伦(美团点评 数据系统研发工程师)。二....

【实时数仓篇】(01)美团 Flink 实时数仓应用1
问答 2022-06-13 来自:开发者社区

在实时数仓的解决方案中,怎样凭借 Flink 的流式处理优势做到实时读写 Hive?

在实时数仓的解决方案中,怎样凭借 Flink 的流式处理优势做到实时读写 Hive?

文章 2022-02-17 来自:开发者社区

实时数仓王炸组合-实时计算Flink版 + Hologres,《实时数仓入门训练营》课程配套电子书来啦!

王炸组合《实时数仓入门训练营》正式结营啦!本次受到了广大开发者同学们热情的关注!训练营邀请了阿里云研究员王峰、阿里云高级产品专家刘一鸣等技术大咖作为讲课嘉宾。课程内容由浅入深全方位解析实时数仓的架构、场景、以及实操应用,让实时数仓不再是“纸上谈兵”!精品的内容促使训练营非常受大家的欢迎,为满足大家求知学习的劲头,我们现将《实时数仓入门训练营》的课程内容全部整理了出来!汇编成《实时数仓“王炸组合”....

实时数仓王炸组合-实时计算Flink版 + Hologres,《实时数仓入门训练营》课程配套电子书来啦!
文章 2022-02-17 来自:开发者社区

实时数仓入门训练营:基于 Apache Flink + Hologres 的实时推荐系统架构解析

本文整理自直播《基于 Apache Flink + Hologres 的实时推荐系统架构解析-秦江杰》视频链接:https://developer.aliyun.com/learning/course/807/detail/13888摘要:本文由实时数仓线上课程秦江杰老师演讲内容整理。 内容简要: 一、实时推荐系统原理 二、实时推荐系统架构 三、基于 Apache Flink + Hol...

实时数仓入门训练营:基于 Apache Flink + Hologres 的实时推荐系统架构解析
文章 2022-02-17 来自:开发者社区

实时数仓入门训练营:实时计算 Flink 版 SQL 实践

本文整理自直播《实时计算 Flink 版 SQL 实践-李麟(海豹)》视频链接:https://developer.aliyun.com/learning/course/807/detail/13887内容简要: 一、实时计算Flink版SQL简介 二、实时计算Flink版SQL上手示例 三、开发常见问题和解法实时计算Flink版SQL简介(一)关于实时计算Flink版SQL实时计算Fli...

实时数仓入门训练营:实时计算 Flink 版 SQL 实践
文章 2022-02-17 来自:开发者社区

抢报实时数仓入门训练营最后一期!0 元打卡即可免费领取 Flink 马克杯

刚刚结束的第一期实时数仓入门训练营异常火爆,没来得及报名的小伙伴不断私信留言:“实时数仓训练营还可以报名吗?后面还会有吗?“”蓝瘦,看到报名信息的时候已经开营了!没有报上!““香菇,错过了跟大佬学习的机会”“下次一定!”为满足大家的求知学习的劲头!《实时数仓入⻔训练营》郑重决定再开1期,且是最后1期,本期错过就是真的错过啦~~~《实时数仓入⻔训练营》之所以如此受大家欢迎,除了是由实时计算Flin....

抢报实时数仓入门训练营最后一期!0 元打卡即可免费领取 Flink 马克杯
文章 2022-02-17 来自:开发者社区

实时数仓入门训练营:实时计算Flink版总体介绍

本文整理自直播《实时计算Flink版总体介绍-莫问 》视频链接:https://developer.aliyun.com/learning/course/807/detail/13885Apache Flink技术发展大数据的高速发展已经超过10年,大数据也正在从计算规模化向更加实时化的趋势演进。比如阿里巴巴举办的购物狂环节双11,可以通过实时大屏展示整个双11实时的交易额、成交额,并可实现毫秒....

实时数仓入门训练营:实时计算Flink版总体介绍

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据仓库

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

+关注