EMR on ECS

  • 产品简介
  • 产品优势
  • 产品功能
  • 产品选型
  • 快速上手
  • 技术解决方案
  • 产品定价
  • 安全合规
  • 客户案例
  • 常见问题

EMR on ECS

构建在云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。

预览图
  • E-MapReduce(按量计费)

  • E-MapReduce (包年包月)

  • E-MapReduce (包年包月)

  • E-MapReduce (包年包月)

产品简介

产品介绍图片

EMR on ECS

EMR on ECS 将 EMR 的大数据处理功能与 ECS 的容器化部署优势相结合,使得您可以更加灵活地配置和管理 EMR 集群,从而更好地适应复杂的数据处理和分析场景。通过 EMR on ECS,您可以快速创建、管理和运维 EMR 集群,同时也能够更加高效地使用计算和存储资源。

产品优势

简单易用

支持分钟级极速创建扩容,提供可视化控制台,监控告警,一键智能诊断。

开源生态

提供高性能、稳定版本Hadoop、Spark、Hive、Flink、StarRocks、HBase、Presto、Paimon、Hudi、ClickHouse等开源大数据组件,客户可根据场景灵活搭配使用。

性能优化

多引擎性能优化,如Spark SQL较开源版本提升3倍;采用OSS-HDFS,在保证数据可靠性基础上,性能大幅提升。

成本节约

提供秒级计费能力,资源成本可视化。支持阿里云抢占式实例、支持预留实例券(RI)。冷热数据分级存储,存储节省10-50%,实现高效管理。

弹性资源

支持按负载/时间,可灵活的根据业务场景配置规则。分钟级弹性伸缩,支持并发扩缩容,极高效率,响应快速变化的业务诉求。

安全可靠

通过VPC和安全组设置集群网络安全策略 。支持Kerberos身份认证 支持云盘加密。

产品功能

存储层 – 数据湖统一存储
集成大数据生态和AI生态对数据湖(OSS或OSS-HDFS)的访问分析,并帮助用户实现“三不”(不改代码、不改路径、不停服务)平滑迁移。
湖管理与优化层 - 数据管理与优化
EMR默认支持使用DLF进行元数据管理,DLF兼容开源的HiveMetaStore协议,提供高可用、高可靠和免运维的全托管元数据管理。
计算层 - 弹性计算引擎
通过兼容多种开源大数据生态的数据开发调度和分析平台,进行大数据计算分析。提供数据湖Datalake,数据分析OLAP,实时数据流Dataflow,数据服务DataServing,数据科学Datascience等多种分析场景,满足不同客户需求。
可视化管控台
提供集群诊断/监控告警/服务管理/弹性伸缩等能力,通过控制台一目了然集群运行状况。
智能运维
事件中心功能,记录包括资源异常、操作执行情况以及资源状态变化等,并支持配置告警;集群日报功能,提供量化打分、智能建议;实时检测功能,实时地对集群任务进行分析,异常检测,对组件状态进行检查分析,找到潜在的问题和改进建议。 智能诊断功能,通过对集群中各种信息进行融合分析,并根据智能算法进行智能诊断分析,减少大数据平台繁重和重复的劳动。
数据开发
EMR Notebook提供交互式编程环境:支持Jupyter Notebook,允许使用Python、SQL等多种语言进行数据分析任务。集成了Apache Spark、Hive、StarRocks等强大的数据处理框架。 EMR Workflow通过可视化界面设计和管理数据处理流程。支持定时执行任务,自动化复杂的工作流程。自动处理工作流中任务间的依赖关系。并实时监控工作流执行状态,记录详细的日志信息。

产品选型

快速上手

如何快速开通一个EMR集群

通过阿里云账号登录E-MapReduce(简称EMR)控制台,快速创建一个DataLake集群并执行作业。

技术解决方案

  • 湖仓一体存算分离
  • EMR 弹性数据湖分析

产品定价

E-MapReduce的费用由E-MapReduce服务费用、ECS产品费用和Master节点的外网流量费用组成。

计费方式

E-MapReduce(简称EMR)支持包年包月和按量付费两种付费模式。

  • 包年包月(预付费)

    包年包月是一种预付费的付费模式,适用于以下业务场景: 可预估资源使用周期、具有较稳定的业务场景、需要长期使用资源。 其中,包年包月集群下支持配置按量付费模式的弹性节点
    查看详情
  • 按量付费

    按量付费是一种先使用后付费的计费方式。适用于前期程序研发或功能测试、资源使用有临时性和突发性。
    查看详情

安全合规

客户案例

banner
喜马拉雅
阿里云的开源大数据平台可以兼容业界开源大数据协议,通过EMR Hadoop+OSS-HDFS、EMR StarRocks、EMR Kafka、EMR Clickhouse等在内的多个技术,全面重构了喜马拉雅大数据底座。
了解更多

常见问题

Q:如何创建EMR on ECS集群?
A:通过阿里云E-MapReduce(简称EMR),您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和......查看详情
Q:E-MapReduce 是否支持自动续费?
A:E-MapReduce 支持自动续费操作,包括 EMR 和 ECS 的自动续费。查看详情
Q:EMR 集群已到期但是集群的 ECS 实例未到期时,会产生计费吗?
A:如果 EMR 集群已到期,ECS 未到期,会导致集群不可用,且集群的节点持续计费。 此类场景,通常是由于 EMR 实例和 ECS 实例的到期时间不一致造成的。针对此类场景,请在扩容后及时在 EMR 控制......查看详情
Q:创建集群时报错“ECS库存不足”,该如何处理?
A:问题现象:新建集群或新增节点组时失败,失败原因显示“ECS库存不足_OutofStock”或“ECS库存不足_OperationDenied.NoStock”。 问题分析:该错误表示您创建集群或新增节点组时选择的ECS机型......查看详情
Q:如何清理创建失败的集群?
A:集群创建失败,通常是由于RDS配置错误导致集群部署失败,或者是由于部分ECS没有库存导致的。 如果在创建过程中,集群已经创建出来部分ECS实例,且集群状态为启动失败,这时需要您前往ECS控......查看详情
Q:集群创建后如何绑定公网IP?
A:您可以单独申请EIP地址,并绑定到未分配公网IP地址的专有网络VPC类型的实例上,使ECS实例可以通过公网访问,详情请参见绑定EIP。查看详情
您暂无法试用本产品,查看全部试用

想体验更多产品功能?

立即购买 EMR on ECS产品

了解更多阿里云产品介绍?

探索 阿里云产品 了解更多产品介绍

遇到了困难需要帮助?

联系我们 咨询阿里云服务团队

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等