文章 2025-01-03 来自:开发者社区

计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台

灵犀科技早期基于 Hadoop 构建大数据平台,以 Hive、Clickhouse、Starrocks 搭建离线数仓,Flink、Redis 搭建实时数仓。2023 年随着公司的战略调整和需求扩增,数据处理效率、查询性能、资源成本问题随之出现。为了快速应对业务的发展需要,灵犀科技引入 Apache Doris 搭建了集存储、加工、服务为一体的统一架构,有效解决上述挑战,实现存储成本下降 60%,....

计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
文章 2024-11-12 来自:开发者社区

Apache Airflow 开源最顶级的分布式工作流平台

背景介绍 Apache Airflow(或简称Airflow)是一个以编程方式创作,计划和监视工作流的平台。 当工作流定义为代码时,它们将变得更加可维护、可版本控制、可测试和协作。 使用 Airflow 将工作流创作为任务的有向无环图 (DAG)。Airflow 调度程序在遵循指定的依赖项的同时,在一组工作线程上执行您的任务。丰富的命令行实用程序使在 DAG 上执行复杂的手术变得轻而易举。丰富的....

Apache Airflow 开源最顶级的分布式工作流平台
问答 2024-07-02 来自:开发者社区

在应用研发平台EMAS中,apache maven 怎么配置Android SDK?

在应用研发平台EMAS中,apache maven 怎么配置Android SDK?

问答 2024-06-12 来自:开发者社区

和其他数据集成平台相比,Apache SeaTunnel 有什么优势?

和其他数据集成平台相比,Apache SeaTunnel 有什么优势?

文章 2024-05-28 来自:开发者社区

众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍

众安保险在CDP(Customer Data Platform,客户数据平台)建设中,通过引入阿里云数据库SelctDB版内核Apache Dois,成功打破了数据孤岛,并显著提升了人群圈选的速度,这是一个值得关注的技术进步。以下是对这一成果的详细解读: 打破数据孤岛的重要性ÿ...

文章 2024-05-21 来自:开发者社区

Java一分钟之-Apache Ignite:分布式内存计算平台

Apache Ignite是一款开源的分布式内存计算平台,它提供了内存数据网格、流处理和计算服务。本文将探讨Ignite的一些常见问题、易错点及其解决方案,并提供代码示例。 1. 常见问题与易错点 1.1 数据一致性 数据丢失:在节点故障时,数据可能无法自动恢复。 分区不均:数据分布不均匀可能导致部分节点过载。 1.2 性能与稳定性 内存管理不当:内存配置不合理可能导致内存...

Java一分钟之-Apache Ignite:分布式内存计算平台
文章 2024-04-09 来自:开发者社区

Apache Hadoop入门指南:搭建分布式大数据处理平台

作为一名关注大数据技术发展的博主,我深知Apache Hadoop在大数据处理领域的重要地位。本文将带领读者从零开始,了解Hadoop的基本概念、核心组件,以及如何搭建一个简单的分布式大数据处理平台,为初学者开启Hadoop之旅提供实用指导。 一、Hadoop概述 起源与发展:Hadoop起源于Google的三篇论文ÿ...

文章 2024-03-12 来自:开发者社区

字节跳动基于Apache Hudi构建实时数据湖平台实践

一篇关于字节跳动基于 Apache Hudi 的实时数据湖平台的分享。 ...

字节跳动基于Apache Hudi构建实时数据湖平台实践
文章 2024-03-07 来自:开发者社区

万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践

文章贡献者 Authors • 技术指导: 泰康人寿 数据架构资深专家工程师 王可 • 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公司战略对 Apache Hudi 进行的功能扩展与实施的详...

万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践
文章 2024-03-04 来自:开发者社区

众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍

导读:2023 年 3 月,在阿里云瑶池数据库峰会上,阿里云与飞轮科技正式达成战略合作协议,双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 SelectDB 版也延续了 Apache Doris 性能优....

众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问