EMR on ECS
- 产品简介
- 产品优势
- 产品功能
- 产品选型
- 快速上手
- 技术解决方案
- 产品定价
- 安全合规
- 客户案例
- 常见问题
- 热门商品
- 内容甄选
产品简介
EMR on ECS
EMR on ECS 将 EMR 的大数据处理功能与 ECS 的容器化部署优势相结合，使得您可以更加灵活地配置和管理 EMR 集群，从而更好地适应复杂的数据处理和分析场景。通过 EMR on ECS，您可以快速创建、管理和运维 EMR 集群，同时也能够更加高效地使用计算和存储资源。
产品优势
简单易用
支持分钟级极速创建扩容，提供可视化控制台，监控告警，一键智能诊断。
开源生态
提供高性能、稳定版本Hadoop、Spark、Hive、Flink、StarRocks、HBase、Presto、Paimon、Hudi、ClickHouse等开源大数据组件，客户可根据场景灵活搭配使用。
性能优化
多引擎性能优化，如Spark SQL较开源版本提升3倍；采用OSS-HDFS，在保证数据可靠性基础上，性能大幅提升。
成本节约
提供秒级计费能力，资源成本可视化。支持阿里云抢占式实例、支持预留实例券（RI）。冷热数据分级存储，存储节省10-50%，实现高效管理。
弹性资源
支持按负载/时间，可灵活的根据业务场景配置规则。分钟级弹性伸缩，支持并发扩缩容，极高效率，响应快速变化的业务诉求。
安全可靠
通过VPC和安全组设置集群网络安全策略 。支持Kerberos身份认证 支持云盘加密。
产品功能
存储层 – 数据湖统一存储
集成大数据生态和AI生态对数据湖（OSS或OSS-HDFS）的访问分析，并帮助用户实现“三不”（不改代码、不改路径、不停服务）平滑迁移。
湖管理与优化层 - 数据管理与优化
EMR默认支持使用DLF进行元数据管理，DLF兼容开源的HiveMetaStore协议，提供高可用、高可靠和免运维的全托管元数据管理。
计算层 - 弹性计算引擎
通过兼容多种开源大数据生态的数据开发调度和分析平台，进行大数据计算分析。提供数据湖Datalake，数据分析OLAP，实时数据流Dataflow，数据服务DataServing，数据科学Datascience等多种分析场景，满足不同客户需求。
可视化管控台
提供集群诊断/监控告警/服务管理/弹性伸缩等能力，通过控制台一目了然集群运行状况。
智能运维
事件中心功能，记录包括资源异常、操作执行情况以及资源状态变化等，并支持配置告警；集群日报功能，提供量化打分、智能建议；实时检测功能，实时地对集群任务进行分析，异常检测，对组件状态进行检查分析，找到潜在的问题和改进建议。 智能诊断功能，通过对集群中各种信息进行融合分析，并根据智能算法进行智能诊断分析，减少大数据平台繁重和重复的劳动。
数据开发
EMR Notebook提供交互式编程环境：支持Jupyter Notebook，允许使用Python、SQL等多种语言进行数据分析任务。集成了Apache Spark、Hive、StarRocks等强大的数据处理框架。 EMR Workflow通过可视化界面设计和管理数据处理流程。支持定时执行任务，自动化复杂的工作流程。自动处理工作流中任务间的依赖关系。并实时监控工作流执行状态，记录详细的日志信息。
产品选型
快速上手
如何快速开通一个EMR集群
通过阿里云账号登录E-MapReduce（简称EMR）控制台，快速创建一个DataLake集群并执行作业。
技术解决方案
湖仓一体存算分离
数据湖（Data Lake）提供了一个开放、集中式的存储，允许存储任意规模的结构化和非结构化数据，可以方便地与各种计算框架进行集成，使得数据具备良好的开放性，但由于架构复杂，数据治理能力弱、缺乏端到端优化等原因，在实际落地中也存在数据质量、性能较差等问题。
产品定价
E-MapReduce的费用由E-MapReduce服务费用、ECS产品费用和Master节点的外网流量费用组成。
计费方式
E-MapReduce（简称EMR）支持包年包月和按量付费两种付费模式。
按量付费
按量付费是一种先使用后付费的计费方式。适用于前期程序研发或功能测试、资源使用有临时性和突发性。查看详情
安全合规
网络和基础设施安全
访问隔离：通过安全组管理，对集群内的ECS实例进行出方向和入方向的网络控制，满足业务网络保护要求。
存储传输加密：通过数据盘加密，对动态数据传输及静态数据加密，保护数据的隐私性和自主性，为业务数据提供安全边界。
系统安全
权限管控：通过阿里云通用RAM访问控制鉴权，控制对EMR集群资源的操作权限。
操作审计：通过阿里云Action Trail操作审计查询用户操作EMR产生的管控事件，满足业务实时审计、问题回溯分析需求。
容灾安全
数据容灾：数据支持多副本存储，任一数据出现问题时，副本数据自动切换恢复，保证数据的可靠性。
服务容灾：通过核心组件高可用部署，保障任一服务节点故障时，能够自动切换，保证服务不受影响。
客户案例
喜马拉雅
阿里云的开源大数据平台可以兼容业界开源大数据协议，通过EMR Hadoop+OSS-HDFS、EMR StarRocks、EMR Kafka、EMR Clickhouse等在内的多个技术，全面重构了喜马拉雅大数据底座。
了解更多常见问题
- 计费相关
- 集群管理
- Q：如何创建EMR on ECS集群？
- A：通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和......查看详情
- Q：E-MapReduce 是否支持自动续费？
- A：E-MapReduce 支持自动续费操作，包括 EMR 和 ECS 的自动续费。查看详情
- Q：EMR 集群已到期但是集群的 ECS 实例未到期时，会产生计费吗？
- A：如果 EMR 集群已到期，ECS 未到期，会导致集群不可用，且集群的节点持续计费。 此类场景，通常是由于 EMR 实例和 ECS 实例的到期时间不一致造成的。针对此类场景，请在扩容后及时在 EMR 控制......查看详情
- Q：创建集群时报错“ECS库存不足”，该如何处理？
- A：问题现象：新建集群或新增节点组时失败，失败原因显示“ECS库存不足_OutofStock”或“ECS库存不足_OperationDenied.NoStock”。 问题分析：该错误表示您创建集群或新增节点组时选择的ECS机型......查看详情
- Q：如何清理创建失败的集群？
- A：集群创建失败，通常是由于RDS配置错误导致集群部署失败，或者是由于部分ECS没有库存导致的。 如果在创建过程中，集群已经创建出来部分ECS实例，且集群状态为启动失败，这时需要您前往ECS控......查看详情
- Q：集群创建后如何绑定公网IP？
- A：您可以单独申请EIP地址，并绑定到未分配公网IP地址的专有网络VPC类型的实例上，使ECS实例可以通过公网访问，详情请参见绑定EIP。查看详情
