文章 2025-01-27 来自:开发者社区

Spark Master HA 主从切换过程不会影响到集群已有作业的运行, 为什么?

Spark Master 的高可用性(HA)机制确保了在主节点(Master)发生故障时,可以从备用主节点(Standby Master)中选择一个接管集群的管理,从而保证集群的稳定运行。这一过程不会影响到集群中已有作业的运行,主要原因如下: Driver 和 Executor 的独立性: 在 Spark 中,每个应用程序都有一个 Driver ...

文章 2024-07-30 来自:开发者社区

云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行

问题一:不会操作,购买云服务 不会操作,购买云服务 参考回答: 一图教您如何购买云服务器ECShttps://help.aliyun.com/zh/ecs/user-guide/a-picture-is-to-teach-you-how-to-buy-cloud-server-ecs?spm=a2c4g.11186623.0.i11 ...

云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
问答 2024-07-25 来自:开发者社区

阿里云E-MapReduce在 SPARK 任務在不知道 EMR master ip addres

阿里云E-MapReduce在 SPARK 任務在不知道 EMR master ip address 的情況下host 應該要填什麼才可以 access EMR 集群內置 MySQL?

问答 2024-02-21 来自:开发者社区

请问bin/spark-sql --master yarn不能进行集群模式运行吗?

请问bin/spark-sql --master yarn不能进行集群模式运行吗? spark版本:spark-3.4.2 现在想通过bin/spark-sql --master yarn来运行纯sql脚本,但是发现不能通过--deploy-mode cluster这种集群模式运行,只能通过client模式来运行。请问生产环境能用client模式运行吗?如果不能用,那么我如何才能用集群模式运行纯....

文章 2022-11-17 来自:开发者社区

Spark Master 和 Worker 项目需求 | 学习笔记

开发者学堂课程【Scala 核心编程 - 进阶:Spark Master 和 Worker 项目需求】学习笔记,与课程紧密连接,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/610/detail/9123Spark Master 和 Worker 项目需求内容介绍:一、项目意义二、项目需求分析三、项目界面设计Spark M....

Spark Master 和 Worker 项目需求 | 学习笔记
问答 2021-12-13 来自:开发者社区

Spark Master的选举过程是什么?

Spark Master的选举过程是什么?

问答 2021-12-11 来自:开发者社区

Spark master HA 主从切换过程不会影响集群已有的作业运行吗?

Spark master HA 主从切换过程不会影响集群已有的作业运行吗?

问答 2021-12-07 来自:开发者社区

Spark应用提交中的class和master是什么?

Spark应用提交中的class和master是什么?

问答 2021-12-07 来自:开发者社区

Spark中的Master节点和Worker节点的作用是什么?

Spark中的Master节点和Worker节点的作用是什么?

问答 2021-12-07 来自:开发者社区

spark master切换需要注意什么?

spark master切换需要注意什么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等