文章 2024-03-12 来自:开发者社区

字节跳动基于Apache Hudi构建实时数据湖平台实践

一篇关于字节跳动基于 Apache Hudi 的实时数据湖平台的分享。 ...

字节跳动基于Apache Hudi构建实时数据湖平台实践
文章 2024-03-07 来自:开发者社区

万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践

文章贡献者 Authors • 技术指导: 泰康人寿 数据架构资深专家工程师 王可 • 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公司战略对 Apache Hudi 进行的功能扩展与实施的详...

万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践

作者:邸星星用户背景 汽车之家成立于2005年,致力于为消费者提供一站式的看车、买车、用车服务,提供优质的汽车消费和汽车生活服务。助力中国汽车产业蓬勃发展。在历经媒体化、平台化、智能化的转型后,全方位服务C端消费者和B1端主机厂、B2端汽车生态各类参与方全面融入平安车生态战略,打造车辆交易的完整闭环。 平台现状 汽车之家实时计算平台的应用场景与其他公司很类似,涵盖了实时指标统计、监控预警、实时数....

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(1) https://developer.aliyun.com/article/1228280平台建设1. 预算资源管控和Flink自动伸缩容  为了提高资源利用率,汽车之家做的第一步就是启用预算的强控机制,与内部的资产云系统做对接并确定团队的可用预算,超出预算....

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(3)

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2) https://developer.aliyun.com/article/12282792. 建设湖仓一体 基于 Hive 的数据仓库主要存在以下几个痛点:   首先是时效性,目前基于 Hive 的数仓绝大部分是 t+1,数据产生后至少要一个小时才能在数仓....

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(3)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——5.数字化转型——联通-联通实时计算平台演进与实践

用户背景 中国联合网络通信集团有限公司,是中华人民共和国一家主要从事通信业的中央企业,也是中国第三大电信运营商,在中国内地31个省、市、自治区运营移动与固网通信业务。 业务需求 电信行业的业务系统非常复杂,所以它的数据源也是非常多的,目前实时计算平台接入了 30 多种数据源,这 30 多种数据源相对于总的数据种类来说是比较小的。即使这样,联通的数据量也达到了万亿级别,每天有 600TB 的数据增....

《Apache Flink 案例集(2022版)》——5.数字化转型——联通-联通实时计算平台演进与实践
文章 2022-07-12 来自:开发者社区

知乎基于 Apache Doris 的 DMP 平台架构建设实践|万字长文详解

导读:知乎基于业务需求搭建了 DMP 平台,本文详细的介绍了 DMP 的工作原理及架构演进过程,同时介绍了 Apache Doris 在 DMP 平台的应用实践,本文对大家了解 DMP 工作方式很有帮助,欢迎阅读。知乎基于业务需求搭建了 DMP 平台,本文详细的介绍了 DMP 的工作原理及架构演进过程,同时介绍了 Apache Doris 在 DMP 平台的应用实践,本文对大家了解 DMP 工作....

知乎基于 Apache Doris 的 DMP 平台架构建设实践|万字长文详解
文章 2020-02-24 来自:开发者社区

首发|《Apache Flink 年度最佳实践》,揭秘一线大厂实时平台构建实践

点击免费下载《Apache Flink 年度最佳实践》>>> 《Apache Flink 年度最佳实践》公开下载啦!首次一次性公布来自B站、美团点评、小米、快手、菜鸟、Lyft、Netflix 等精彩内容,9篇深度文章揭秘一线大厂实时平台构建实践。不容错过的精品电子书,大数据工程师必读实战“真经”! 
Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一...

首发|《Apache Flink 年度最佳实践》,揭秘一线大厂实时平台构建实践
文章 2020-02-20 来自:开发者社区

从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践

摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面: 一、实时计算的痛点 二、Saber 的平台演进 三、结合 AI 的案例实践 四、未来的发展与思考 重要:点击「PPT」可下载 Flink Forward Asia 大会全部PP...

文章 2019-09-11 来自:开发者社区

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平台上的行为轨迹,我们开始开发实时应用。那时可选的技术架构还是比较少的,实时计算框架这块,当时比较主流的有 Storm 和 Spark-str....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等