文章 2024-07-30 来自:开发者社区

云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行

问题一:不会操作,购买云服务 不会操作,购买云服务 参考回答: 一图教您如何购买云服务器ECShttps://help.aliyun.com/zh/ecs/user-guide/a-picture-is-to-teach-you-how-to-buy-cloud-server-ecs?spm=a2c4g.11186623.0.i11 ...

云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
问答 2024-02-21 来自:开发者社区

请问bin/spark-sql --master yarn不能进行集群模式运行吗?

请问bin/spark-sql --master yarn不能进行集群模式运行吗? spark版本:spark-3.4.2 现在想通过bin/spark-sql --master yarn来运行纯sql脚本,但是发现不能通过--deploy-mode cluster这种集群模式运行,只能通过client模式来运行。请问生产环境能用client模式运行吗?如果不能用,那么我如何才能用集群模式运行纯....

阿里云文档 2022-12-29

概述Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业也会终止。详细信息Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业任务也会终止或者关闭。适用于Dataphin公共云V3.5.6

阿里云文档 2021-06-25

如何将MapReduce和Spark作业日志配置到JindoFS或OSS上

本文为您介绍如何将MapReduce和Spark作业日志配置到JindoFS或OSS上。

问答 2018-12-21 来自:开发者社区

错误,spark-submit --master yarn --deploy-mode cluster

在AWS EMR系统上提交我的应用程序时,我遇到了以下错误。在客户端模式下提交spark应用程序正常。如果为了在aws emr中以集群模式工作,需要完成其他任何配置,请告诉我。 [hadoop@ip-172-31-81-182 ~]$ spark-submit --master yarn --deploy-mode cluster --executor-memory 1G --num-execu....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注