文章 2023-11-29 来自:开发者社区

FFA 2023 「生产实践」专场:Flink 大规模技术优化与生产实践

今年 Flink Forward Asia(以下简称 FFA ) 重新回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程已正式上线! Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apac...

 FFA 2023 「生产实践」专场:Flink 大规模技术优化与生产实践
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-云原生运维实战篇-阿里超大规模Flink集群运维实践(上)

 大数据运维在阿里云实时计算集群的落地实践:以数智为内核驱动的实时计算运维体系,解决稳定性、成本、效率三大运维领域需求。 摘要:本文整理自阿里云计算平台事业部实时计算高级运维专家王华(尚付)在FlinkForward Asia 2021生产实践专场的演讲。 一、 演进历史和运维挑战   阿里的实时计算经历了近10年的快速发展,总体来说可....

SREWorks云原生数智运维工程实践-云原生运维实战篇-阿里超大规模Flink集群运维实践(上)
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-云原生运维实战篇-阿里超大规模Flink集群运维实践(中)

二、 集群运维Flink Cluster • 一方面,Flink平台上运行着一个非常典型的业务,就是双11大促当天GMV媒体成交翻牌器,也就是家喻户晓的成交额大屏,这个业务对于稳定性要求非常高。除了GMV翻牌器,Flink还承载了阿里内部全部重要的实时计算业务,包括阿里妈妈、广告计量计费、搜索推荐、机器学习平台等核心电商业务的实时场景。这些实时场景既重要又实时敏感,稳定性是第一大挑战。....

SREWorks云原生数智运维工程实践-云原生运维实战篇-阿里超大规模Flink集群运维实践(中)
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-云原生运维实战篇-阿里超大规模Flink集群运维实践(下)

三、 应用运维Flink Job  伴随着实时计算的大趋势,Flink的用户和作业数经历了飞速增长,现在平台上的作业数已经达到了几万个。但是众所周知Flink作业的运维是一个非常复杂的问题,列举一些日常用户最高频的咨询,比如为什么我的作业启动慢,为什么Failover,为什么反压,为什么延时,如何调整资源配置来减少成本?这些看似简单的问题其实都非常复杂。 Flink....

SREWorks云原生数智运维工程实践-云原生运维实战篇-阿里超大规模Flink集群运维实践(下)
文章 2023-05-11 来自:开发者社区

行业实践专栏上线|互娱领域专家解读 Flink 企业应用实践

Flink-learning 学训平台第 3 期课程——互娱行业实践专栏上线啦!本期课程涵盖 6 位互娱行业实时计算领域专家详细解读 Flink 在快手、爱奇艺、小红书、B 站、BIGO、斗鱼等企业内的应用与落地。围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授,帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。Apache Flink 是 Apache 软....

行业实践专栏上线|互娱领域专家解读 Flink 企业应用实践
文章 2023-02-21 来自:开发者社区

实践教程之使用PolarDB-X与Flink搭建实时数据大屏

PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。本期实验将指导您使用 PolarDB-X 与Flink搭建实时数据大屏。PolarDB-X 分布式数据库免费试用地址 本期免费实验地址本期教学视频地址前置准备假....

实践教程之使用PolarDB-X与Flink搭建实时数据大屏
文章 2022-03-30 来自:开发者社区

直播预告 | PolarDB-X 动手实践系列——用 PolarDB-X + Flink 搭建实时数据大屏

数据大屏在业务展示和决策中扮演重要角色,而背后的实时计算是数据大屏实现的关键技术之一。本次演示通过 PolarDB-X + Flink + Vue 搭建一个实时数据链路,模拟阿里巴巴双十一 GMV 大屏。PolarDB-X 云原生分布式数据库已在 GitHub 开源,欢迎关注:https://github.com/polardb/polardbx-sql直播时间3月25号(本周五)16:00~1....

直播预告 | PolarDB-X 动手实践系列——用 PolarDB-X + Flink 搭建实时数据大屏
文章 2022-03-04 来自:开发者社区

使用实践:对接Flink常见问题诊断

本文总结了Hologres对接Flink/Blink时的常见问题以及对应的诊断方法。Common Sense1. Hologres性能写入性能: 列存表  InsertOrIgnore > InsertOrReplace > InsertOrUpdate行存表  InsertOrReplcae = InsertOrUpdate > InsertOrIgnor....

使用实践:对接Flink常见问题诊断
文章 2022-02-17 来自:开发者社区

生产实践 | 基于 Flink 的短视频生产消费监控

本文详细介绍了实时监控类指标的数据流转链路以及技术方案,大多数的实时监控类指标都可按照本文中的几种方案实现。 短视频生产消费监控 短视频带来了全新的传播场域和节目形态,小屏幕、快节奏成为行业潮流的同时,也催生了新的用户消费习惯,为创作者和商户带来收益。而多元化的短视频也可以为品牌方提供营销机遇。 其中对于垂类生态短视频的生产消费热点的监控分析目前成为了实时数据处理很常见的一个应用场景,比如对某个....

生产实践 | 基于 Flink 的短视频生产消费监控
文章 2022-02-17 来自:开发者社区

OSS数据湖实践——EMR + Flink + OSS案例

本文介绍使用Flink大数据分析引擎,基于EMR,利用OSS云存储数据,实现一个分析案例。前提条件• 已注册阿里云账号,详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权,详情请参见角色授权。• 已创建Haoop集群,且带有spark组件。• 相关更多配置请参考OSS入门文档。 步骤一:数据上传至oss hadoop fs -put course2.c....

OSS数据湖实践——EMR + Flink + OSS案例

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注