阿里云文档 2024-09-19

Flink+DLF数据入湖与分析实践

阿里云实时计算Flink版结合DLF Paimon Catalog,实现Flink作业结果到数据湖的高效写入和元数据同步,支持无缝对接多种计算引擎并优化数据湖管理,本文为您介绍具体的操作流程。

阿里云文档 2024-07-17

Flink SQL开发调优实践

说明实时计算Flink版控制台界面和功能可能会发生变化,具体请以实际控制台为准。

文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1)

作者:何军用户背景 小红书是年轻人的生活方式平台,由毛文超和瞿芳于2013年在上海创立。小红书以“Inspire Lives 分享和发现世界的精彩”为使命,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式,并基于兴趣形成互动。截至到2019年10月,小红书月活跃用户数已经过亿,其中70%用户是90后,并持续快速增长。 平台现状 小红书的Flink集群多云部署架构如上图所示,由于小红书的业....

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2)

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1) https://developer.aliyun.com/article/1228082生产实践1. Helm 集群管理模式  在正式迁入到 Native Flink on K8s 之前很长一段时间内,小红书都是基于 Helm 来进行集....

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(3)

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2) https://developer.aliyun.com/article/12280802. Native Flink on Kubernetes 小红书书选择Native Flink on K8s部署模式的原因是因为它具备如下三个特征: &...

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(3)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(上)

作者:付海涛用户背景 京东集团定位于“以供应链为基础的技术与服务企业”,目前业务已涉及零售、数字科技、物流、技术服务、健康、保险、物流地产、云计算、AI和海外等领域,其中核心业务为零售、数字科技、物流、技术服务四大板块。 平台建设 在 2017 年左右,京东实时计算是多个引擎并存的,包括 Storm、Spark Streaming 以及正在引入的新一代计算引擎 Flink,其中 Storm 集群....

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(上)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(下)

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(上) https://developer.aliyun.com/article/1228060接下来是磁盘的性能问题。容器中的存储空间由两部分组成,如上图所示,底层是只读的镜像层,顶部是可读写的容器层。容器运行的时候涉及到文件的写操作都是在容器层中完成的,这里需要一个存储驱动....

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(下)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——斗鱼-Apache Flink 在斗鱼的应用与实践(上)

作者:夏畅  用户背景 斗鱼成立于 2014 年,是一家致力于为所有人带来欢乐的,弹幕式直播分享平台。平台现状 在斗鱼,实时计算发展的历程如下:  2018 年开始,为了满足一些近实时数据需求,如 5 分钟、1 小时等场景,斗鱼先后引入了 Spark streaming 和 Storm 技术。随着业务的持续发展,实时指标的需求愈加多样性,Spark streaming 和 S....

《Apache Flink 案例集(2022版)》——4.云原生——斗鱼-Apache Flink 在斗鱼的应用与实践(上)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——斗鱼-Apache Flink 在斗鱼的应用与实践(下)

《Apache Flink 案例集(2022版)》——4.云原生——斗鱼-Apache Flink 在斗鱼的应用与实践(上) https://developer.aliyun.com/article/1228038生产实践 搭建平台的过程中,斗鱼也遇到了不少的挑战。   第一个挑战是 Flink on K8s 集群的部署资源问题。方案上斗鱼使用 Standalone Kubernete....

《Apache Flink 案例集(2022版)》——4.云原生——斗鱼-Apache Flink 在斗鱼的应用与实践(下)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——米哈游-Flink 在米哈游的落地实践(上)

作者:张剑 用户背景 米哈游成立于 2011 年,致力于为用户提供美好的、超出预期的产品与内容。公司陆续推出了多款高品质人气产品,包括《崩坏学园2》、《崩坏3》、《未定事件簿》、《原神》,动态桌面软件《人工桌面》以及社区产品《米游社》,并围绕原创 IP 打造了动画、漫画、音乐、小说及周边等多元产品。总部位于中国上海,并在新加坡、美国、加拿大、日本、韩国等国家和地区进行全球化布局。 业务需求 Fl....

《Apache Flink 案例集(2022版)》——4.云原生——米哈游-Flink 在米哈游的落地实践(上)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等