阿里云文档 2025-04-11

基于实际剩余资源的多集群Spark作业调度与分发

如果您已经拥有多个正在运行在线服务的ACK集群,并希望在不影响这些服务的情况下,充分利用集群的空闲资源来运行Spark作业,您可以利用ACK One舰队的多集群Spark作业调度和分发能力来提高资源利用率。本文将介绍如何通过ACK One舰队和ACK Koordinator组件,根据各集群实际剩余资源(而非请求资源)来调度和分发多集群Spark作业,帮助您最大化多集群中闲置资源的利用效率,并通过优...

阿里云文档 2025-04-01

基于实际剩余资源的多集群Spark作业调度与分发

如果您已经拥有多个正在运行在线服务的ACK集群,并希望在不影响这些服务的情况下,充分利用集群的空闲资源来运行Spark作业,您可以利用ACK One舰队的多集群Spark作业调度和分发能力来提高资源利用率。本文将介绍如何通过ACK One舰队和ACK Koordinator组件,根据各集群实际剩余资源(而非请求资源)来调度和分发多集群Spark作业,帮助您最大化多集群中闲置资源的利用效率,并通过优...

阿里云文档 2025-02-26

为Spark作业配置动态资源分配

本文介绍在Spark中如何配置和使用动态资源分配(Dynamic Resource Allocation)功能,以最大化集群资源的利用效率,减少资源闲置,同时提升任务执行的灵活性和整体系统性能。

阿里云文档 2025-02-17

通过ElasticQuotaTree与任务队列提升资源利用率

为了让不同团队和任务共享集群中的计算资源,同时确保资源的合理分配和隔离,您可以基于ack-kube-queue、ElasticQuotaTree和ack-scheduler实现资源的合理、灵活分配。ack-kube-queue能够管理AI/ML和批处理工作负载的任务队列;ElasticQuotaTree支持细粒度的资源配额管理;ack-scheduler负责选择最合适的节点来运行任务。

阿里云文档 2025-02-06

如何通过Go SDK访问多集群资源

若您希望在平台中集成ACK One舰队以访问各子集群资源,可以利用Go SDK进行操作。本文介绍如何使用Go SDK通过舰队KubeConfig管理多集群的Kubernetes资源。

文章 2024-05-13 来自:开发者社区

Kubernetes详解(九)——资源配置清单创建Pod实战

今天继续给大家介绍Linux运维相关知识,本文主要内容是通过资源配置清单方式创建Pod实战。 一、资源配置清单编写在上文Kubernetes详解(八)——Kubernetes资源配置清单中,我们介绍了Kubernetes资源配置清单的常用字段,今天,我们就来使用资源配置清单,来实际生成一个Pod对象...

文章 2023-12-19 来自:开发者社区

【云原生】kubernetes学习之资源(对象)控制器概述---概念和实战(五)

一,kubernetes内的资源(或者称之为对象)首先,应该是思考一个问题,为什么kubernetes里要引入资源(对象)这个概念?Kubernetes 中的所有内容都被抽象为“资源”,如 Pod、Service、Node 等都是资源。“对象”就是“资源”的实例,是持久化的实体。如某个具体的 Pod、某个具体的 Node。Kubernetes 使用这些实体去表现整个集群的状态。对象的创建、删除、....

文章 2022-11-09 来自:开发者社区

【云原生】kubernetes学习之资源(对象)控制器概述---概念和实战(5.2)

因此,我们可以看到的是,get rs和get deploy 是一样结果,但deploy有一个 UP-TO-DATE,并且名称也不一样。但是看到的pod是一致的哦。水平扩展---将web01这个部署扩展到三个副本:[root@master ~]# k scale deploy web01 --replicas=3 -n test deployment.apps/web01 scaled水平扩展后,....

文章 2022-11-09 来自:开发者社区

【云原生】kubernetes学习之资源(对象)控制器概述---概念和实战(5.1)

一,kubernetes内的资源(或者称之为对象)首先,应该是思考一个问题,为什么kubernetes里要引入资源(对象)这个概念?Kubernetes 中的所有内容都被抽象为“资源”,如 Pod、Service、Node 等都是资源。“对象”就是“资源”的实例,是持久化的实体。如某个具体的 Pod、某个具体的 Node。Kubernetes 使用这些实体去表现整个集群的状态。对象的创建、删除、....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等