容器服务Kubernetes版云原生套件的相关内容

阿里云文档 2025-04-01

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化，进一步减少了推理阶段的显存占用，从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-03-26

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-03-25

设置Slurm队列优先级

为了更有效地管理和分配资源，优化作业调度，提升系统利用率，并满足多样化的作业需求，队列成为任务调度中不可或缺的配置项。合理的队列设置能够确保高优先级的任务优先获得所需资源，从而最大化资源利用效率。本文介绍在Slurm系统环境下，当出现作业提交或作业状态变化时，如何通过恰当的队列配置策略来实现尽可能多的任务调度处理，以达到最佳性能。

阿里云文档 2025-03-12

Slurm用户及账户配置推荐设置

Slurm提供的账户与用户可被用于管理任务提交以及计费统计。本文主要介绍如何在Slurm集群中正确配置账户和用户，包括创建、修改和删除账户及用户的方法，并深入探讨如何以账户为单位来有效地跟踪和统计任务所消耗的资源量，从而帮助企业或研究机构更好地管理和优化其计算资源的使用效率。

阿里云文档 2025-03-07

通过开发控制台对MLflow仓库模型管理

云原生AI套件支持对MLflow模型仓库中的模型进行管理，本文介绍如何使用云原生AI套件开发控制台进行模型管理。

文章 2024-07-17 来自：开发者社区

带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台

客户介绍 Soul是任意门旗下基于兴趣图谱和游戏化玩法的社交App，是为新一代年轻人而设的虚拟社交平台。Soul App基于用户的社交画像和兴趣图谱，通过机器学习为用户推荐志趣相投的伙伴，支持丰富的AI业务场景，包括语音匹配、聊天机器人、文本OCR识别、图像识别、多模态等。业务挑战 AI机器学习是公司核心业务，但在传统的虚拟机部署方式下，缺乏一个统一的管控平台，导致业务...

问答 2024-06-27 来自：开发者社区

ACK one 能不能用云原生 AI 套件？目前主要是部署模型服务

文章 2024-01-10 来自：开发者社区

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践

作者：霍智鑫众所周知，随着时间的推移，算力成为了 AI 行业演进一个不可或缺的因素。在数据量日益庞大、模型体量不断增加的今天，企业对分布式算力和模型训练效率的需求成为了首要的任务。如何更好的、更高效率的以及更具性价比的利用算力，使用更低的成本来训练不断的迭代 AI 模型，变成了迫切需要解决的问题。而分布式训练的演进很好的体现了 AI 模型发展的过程。Distributed Training分布式....

文章 2023-10-11 来自：开发者社区

《开发者评测》之 ACK 云原生 AI 套件评测获奖名单

【最优奖获奖名单】礼品：小度智能屏X9 + 开源项目定制书包 + 优质评测证书 + 社区首页展示获奖链接博主昵称https://developer.aliyun.com/note/256997609nb@plus【潜力奖获奖名单】礼品：绿联快充头 + 开源项目定制T恤 + 优质评测证书获奖链接博主昵称https://developer.aliyun.com/note/257184881Dream....

文章 2023-09-18 来自：开发者社区

ACK云原生AI套件初评

产品定义云原生 AI 套件通过多个可组装、可扩展、可定制的组件来提供云原生 AI 能力。以 Kubernetes 容器服务为底座，向下封装对各类异构资源的统一管理，向上提供标准 Kubernetes 集群环境和 API，运行各个核心组件。并结合容器镜像服务，以及可观测、智能诊断、弹性伸缩等容器服务相关能力，提供更加全面的产品方案。使用云原生AI套件，您可以充分利用云原生架构和技术，在Kubern....