阿里云文档 2024-04-18

配置Hadoop集群的弹性伸缩

当您的业务量需求不断波动时,建议您开启弹性伸缩功能并配置相应的伸缩规则,以便于E-MapReduce(简称EMR)可以按业务量波动增加或减少Task节点。确保作业完成的同时,可以节省成本。本文为您介绍如何在EMR控制台配置弹性伸缩。

阿里云文档 2023-09-13

如何配置数据湖构建作为EMR上Hadoop集群的元数据_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文为您简单介绍阿里云数据湖构建,以及如何切换E-MapReduce(简称EMR)的元数据存储类型。

阿里云文档 2023-09-03

如何配置HadoopMapReduce类型作业_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何配置Hadoop MapReduce类型的作业。

文章 2022-02-16 来自:开发者社区

《Hadoop实战第2版》——2.4节安装和配置Hadoop集群

2.4 安装和配置Hadoop集群 2.4.1 网络拓扑通常来说,一个Hadoop的集群体系结构由两层网络拓扑组成,如图2-3所示。结合实际应用来看,每个机架中会有30~40台机器,这些机器共享一个1GB带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器,通常来说其网络交换能力为1GB或更高。可以很明显地看出,同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富。这也是H....

文章 2022-02-16 来自:开发者社区

《Hadoop实战第2版》——2.3节在Windows上安装与配置Hadoop

2.3 在Windows上安装与配置Hadoop 2.3.1 安装JDK 1.6或更高版本相对于Linux,JDK在Windows上的安装过程更容易,你可以在http://www.java.com/zh_CN/download/manual.jsp下载到最新版本的JDK。这里再次申明,Hadoop的编译及MapReduce程序的运行,很多地方都需要使用JDK的相关工具,因此只安装JRE是不够的。....

文章 2022-02-16 来自:开发者社区

《Hadoop实战第2版》——2.2节在Mac OSX上安装与配置Hadoop

2.2 在Mac OSX上安装与配置Hadoop 由于现在越来越多的人使用Mac Book,故笔者在本章中增加了在Mac OS X上安装与配置Hadoop的内容,供使用Mac Book的读者参考。 2.2.1 安装HomebrewMac OS X上的Homebrew是类似于Ubuntu下apt的一种软件包管理器,利用它可以自动下载和安装软件包,安装Homebrew之后,就可以使用Homebrew....

文章 2022-02-16 来自:开发者社区

《Hadoop实战第2版》——2.1节在Linux上安装与配置Hadoop

2.1 在Linux上安装与配置Hadoop在Linux上安装Hadoop之前,需要先安装两个程序:1)JDK 1.6(或更高版本)。Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop前,必须安装JDK 1.6或更高版本。2)SSH(安全外壳协议),推荐安装OpenSSH。Hadoop需要通过SSH来启动Slave列表中各台主....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问