阿里云文档 2024-04-18

配置Hadoop集群的弹性伸缩

当您的业务量需求不断波动时,建议您开启弹性伸缩功能并配置相应的伸缩规则,以便于E-MapReduce(简称EMR)可以按业务量波动增加或减少Task节点。确保作业完成的同时,可以节省成本。本文为您介绍如何在EMR控制台配置弹性伸缩。

阿里云文档 2023-09-13

如何配置数据湖构建作为EMR上Hadoop集群的元数据_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文为您简单介绍阿里云数据湖构建,以及如何切换E-MapReduce(简称EMR)的元数据存储类型。

阿里云文档 2023-09-03

如何配置HadoopMapReduce类型作业_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何配置Hadoop MapReduce类型的作业。

问答 2020-06-14 来自:开发者社区

Hadoop配置成功后如何处理数据:报错

2台电脑分别装了虚拟机,使用ubuntu操作系统,完成了hadoop分布式的配置。然后对2个CSV文件进行数据处理,执行shell脚本,处理完成的情况下可以生成一个CSV文件。这里我的2个CSV文件只需要存放在主机上吗?(在不使用分布式进行处理的时候,一台电脑进行处理数据,2个CSV文件存放在本机上,执行shell脚本后,在本地指定的文件夹下生成一个处理后的CSV文件。现在使用2台电脑搭好分布式....

问答 2020-06-02 来自:开发者社区

Hadoop配置成功后如何处理数据:配置报错 

2台电脑分别装了虚拟机,使用ubuntu操作系统,完成了hadoop分布式的配置。然后对2个CSV文件进行数据处理,执行shell脚本,处理完成的情况下可以生成一个CSV文件。这里我的2个CSV文件只需要存放在主机上吗?(在不使用分布式进行处理的时候,一台电脑进行处理数据,2个CSV文件存放在本机上,执行shell脚本后,在本地指定的文件夹下生成一个处理后的CSV文件。现在使用2台电脑搭好分布式....

文章 2017-11-20 来自:开发者社区

hadoop2.6.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop、hbase和hive)

环境准备   Java   Hadoop(Hdfs/Yarn)             Hadoop2.6.0(单节点)下安装Sqoop   第一步:上传sqoop的安装包,这里不多赘述。 [hadoop@djt002 sqoop]$ pwd /usr/local/sqoop [hadoop@djt002 sqoop]$ ls sqoop...

hadoop2.6.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop、hbase和hive)
文章 2017-11-13 来自:开发者社区

hadoop2.6.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop、hbase和hive)

下载Sqoop            http://sqoop.apache.org/    或            http://archive-primary.cloudera.com/cdh5/cdh/5/    (这个就是版本已经对应好了,...

hadoop2.6.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop、hbase和hive)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等