阿里云文档 2025-03-28

Hadoop集群事件查看及告警

E-MapReduce(简称EMR)的事件中心用于记录Hadoop类型集群发生的重要事件,并将其自动同步到云监控服务。您可以在EMR控制台上查看集群的事件,并在云监控控制台上设置相应的事件告警。

阿里云文档 2025-02-14

基于自建Hadoop集群进行自定义CDH镜像

本文为您介绍如何在DataWorks绑定自建 Hadoop 集群并进行任务开发,以及如何自定义自建集群运行环境。

阿里云文档 2025-01-23

与自建集群的对比优势

与自建Hadoop集群相比,开源大数据开发平台EMR提供弹性资源管理和自动化运维,降低运维复杂度,通过用户管理、数据加密和权限管理等为数据安全保驾护航,同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态,便于快速搭建大数据处理和分析场景。

阿里云文档 2024-12-30

基于Hadoop集群支持Delta Lake或Hudi存储机制

Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据变化。

问答 2024-06-09 来自:开发者社区

Hadoop YARN 集群 ResourceManager 缺陷修复公告

Hadoop YARN 集群 ResourceManager 缺陷修复公告

阿里云文档 2024-04-03

迁移Hadoop集群至DataLake集群

本文将详细阐述如何将您已有的旧版数据湖集群(Hadoop),高效地迁移至数据湖集群(DataLake),以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式,并针对这些因素,提供适应新集群的迁移策略与步骤。

问答 2023-05-04 来自:开发者社区

在机器学习PAI中alink可以在hadoop3的yarn集群环境中运行吗?

"alink可以在hadoop3的yarn集群环境中运行吗? 我看pom文件里面配置的都是2.8.0"

问答 2023-05-02 来自:开发者社区

alink可以在hadoop3的yarn集群环境中运行吗?我看pom文件里面配置的都是2.8.0

alink可以在hadoop3的yarn集群环境中运行吗?我看pom文件里面配置的都是2.8.0

文章 2022-02-15 来自:开发者社区

Hadoop YARN学习之监控集群监控Nagios(4)

doop YARN学习之监控集群监控Nagios(4) 1. Nagios是一个流行的开源监控工具,可以用来监控Hadoop集群。 2. 监控基本的Hadoop服务 调试好脚本后命名为chek_resource_manager.sh,并把它放在Nagios的插件目录中。 加载Nagios插件向hadoop-cluster.cfg添加如下信息 define command...

问答 2022-02-15 来自:开发者社区

Hadoop中在Master0节点启动YARN集群的主要操作步骤和返回代码是什么?

Hadoop中在Master0节点启动YARN集群的主要操作步骤和返回代码是什么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等