文章 2024-07-02 来自:开发者社区

探索 Apache Paimon 在阿里智能引擎的应用场景

摘要:本文整理自Apache Yarn && Flink Contributor,阿里巴巴智能引擎事业部技术专家王伟骏(鸿历)老师在 5月16日 Streaming Lakehouse Meetup · Online 上的分享。内容主要分为以下三个部分: 一、 阿里智能引擎 AI 业务背景介绍 二、 引入 Pa...

探索 Apache Paimon 在阿里智能引擎的应用场景
文章 2024-01-22 来自:开发者社区

Apache Paimon 在网易传媒推荐场景实践

背景网易新闻是中国领先的全媒体新闻门户网站,提供全面、及时、权威的新闻资讯服务。推荐产品团队主要致力于网易新闻 APP 端内资讯的个性化推荐,加强用户粘性,提高用户的阅读体验。随着业务的持续发展,原有的推荐数仓架构逐渐满足不了业务对数据的多样性需求,数据处理流程也愈发复杂。近期,我们与杭研同事一起深入调研了数据湖方案 Apache Paimon,以此为底座,旨在解决传统数仓在数据更新能力上存在的....

Apache Paimon 在网易传媒推荐场景实践
文章 2024-01-22 来自:开发者社区

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于 Hive 的离线数仓和基于 Flink、Kafka 的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了 Iceberg、Hudi、Paimon 后,最终选择 Paimon 作为我们湖仓一体的存储引擎,本文分享下自如在引入 Paimon 做数据集成的一些探索实践。一、原始接入自如目前使用的业务库入 hive 的简略逻辑图如下(拿 Mysq....

Apache Flink 和 Paimon 在自如数据集成场景中的使用
文章 2024-01-08 来自:开发者社区

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景 自如目前线上有基于 Hive 的离线数仓和基于 Flink、Kafka 的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了 Iceberg、Hudi、Paimon 后,最终选择 Paimon 作为我们湖仓一体的存储引擎,本文分享下自如在引入 Paimon 做数据集成的一些探索实践。 一...

Apache Flink 和 Paimon 在自如数据集成场景中的使用

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等