文章 2025-04-17 来自:开发者社区

网易游戏 x Apache Doris:湖仓一体架构演进之路

导读:网易游戏引入 Apache Doris 升级架构,先是替换 Elasticsearch、Hbase、Clickhouse 构建了实时数仓,而后基于 Apache Doris 和 Iceberg 构建了湖仓融合架构,实现架构的大幅简化及统一。目前,网易游戏 Apache Doris 集群超 20 个 ,总节点数百个,已对接内部 200+ 项目,日均查询量超过 1500 万,总存储数据量 PB....

网易游戏 x Apache Doris:湖仓一体架构演进之路
文章 2025-04-02 来自:开发者社区

拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%

拉卡拉(股票代码 300773)是国内首家数字支付领域上市企业,从支付、货源、物流、金融、品牌和营销等各维度,助力商户、企业及金融机构数字化经营。随着实时交易数据规模日益增长,拉卡拉早期基于 Lambda 架构构建的数据平台面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此,拉卡拉选择使用 Apache Doris 来替换 Elasticsearch、Hive、Hbase、....

拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
文章 2025-03-18 来自:开发者社区

天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践

导读:天翼云基于 Apache Doris 成功落地项目已超 20 个,整体集群规模超 50 套,部署节点超 3000 个,存储容量超 15PB。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案,兼具灵活性、高性能和低成本优势,同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。 本文转录自李.....

天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践
文章 2025-03-01 来自:开发者社区

小米基于 Apache Paimon 的流式湖仓实践

摘要:本文整理自计算平台软件研发工程师钟宇江老师在 Flink Forward Asia 2024 流式湖仓(一)专场中的分享。内容主要为以下三部分: 背景介绍 基于 Paimon 构建近实时数据湖仓 未来展望 01背景介绍 第一部分是背景介绍,简单介绍之前的典型的实时数仓的架构,以及引入 Apache Pai...

小米基于 Apache Paimon 的流式湖仓实践
文章 2025-02-26 来自:开发者社区

小米基于 Apache Paimon 的流式湖仓实践

摘要:本文整理自计算平台软件研发工程师钟宇江老师在 Flink Forward Asia 2024 流式湖仓(一)专场中的分享。内容主要为以下三部分: 一、背景介绍 二、基于 Paimon 构建近实时数据湖仓 三、未来展望 一、背景介绍 第一部分是背景介绍,简单介绍之前的典型的实时数仓的架构,以及引入 Apache Paimon 的原因。 1.1 当前实时湖仓计算框架以 Flink + ...

小米基于 Apache Paimon 的流式湖仓实践
文章 2024-10-16 来自:开发者社区

Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化

亲爱的社区小伙伴们,我们很高兴地向大家宣布,在近期我们迎来了 Apache Doris 3.0 版本的正式发布,欢迎大家下载使用体验! 从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享....

Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
文章 2024-09-27 来自:开发者社区

快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级

作者|快手大数据架构师 李振炜、曾斯维、周思闽 在当今这个数据洪流的信息时代下,数据已跃升为企业不可或缺的核心资产。深度挖掘并提炼数据内在价值,成为支撑企业战略决策的重要依据。在此背景下,快手建立了 OLAP 系统,该系统在快手应用极为广泛,每天承载近 10 亿的查询请求,为内外多个业务场景提供数据服务。具体场景包括: ToB 系统:商业化报表引擎、商业化 DMP、商业化磁力金牛、电商选品等...

快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
文章 2024-08-29 来自:开发者社区

招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%

在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务,而 Lambda 过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因此,招联引入 Apache Doris 对架构进行了升级,不仅替换了冗余的技术栈,还实现了实时数仓存储和计算引擎的统一....

招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
文章 2024-06-28 来自:开发者社区

网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构

导读:随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。 内容共建:胡彪,网易游戏高级大数据...

网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
文章 2024-06-28 来自:开发者社区

DataFunCon 2024·北京站|Apache Paimon 实时湖仓存储底座

随着2023年“百模大战”的逐渐退烧,我们迎来了 2024 年大模型应用落地的关键突破阶段。在这个被大模型与大数据双核驱动的新时代,企业的各项运营从产品研发到营销再到用户服务等环节正在经历前所未有的深刻变革。为了更好地探讨和展望大数据与大模型的融合发展,我们诚邀您参加 7 月 5 至 7 月 6 日在北京丽亭华苑酒店举办的 DataFunCon 2024·北京站大会,深度了解“大数据·大模型 双....

DataFunCon 2024·北京站|Apache Paimon 实时湖仓存储底座

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云原生数据仓库AnalyticDB

定期发送云原生数据仓库AnalyticDB产品重大发布和技术干货

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等