阿里云文档 2024-03-15

如何在调度系统中使用EMR Doctor

创建EMR集群时,已默认安装EMR Doctor环境并开通EMR Doctor任务信息采集用于健康度评估,但部分客户端参数配置可能导致任务采集失效。本文为您介绍如何在客户端追加采集参数以保证EMR Doctor任务采集正常工作。

文章 2022-08-04 来自:开发者社区

从 0 到 1 搭建大数据平台之调度系统

目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据,定时跑 hive/spark 任务,定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。一、原始任务调度网络异常,图片无法展示|记得第一次参与大数据平台从无到有的搭建,最开始任务调度就是用的 Crontab,分时日月周,各种任务脚本配置在一台主机上。crontab ....

从 0 到 1 搭建大数据平台之调度系统
文章 2022-02-17 来自:开发者社区

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 ODPS,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随着阿里经济体和阿里云业务需求(尤其是双十一)的不断丰富,伏羲的内涵也不断扩大,从单一的资源调度器(对标开源系统的YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data Placem....

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

大数据计算 MaxCompute

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等