阿里云文档 2025-04-29

采集阿里云ACK集群标准输出-新版(DaemonSet方式部署Logtail)

本文介绍如何通过DaemonSet方式部署Logtail采集阿里云ACK集群标准输出(新版)的流程。

阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化,进一步减少了推理阶段的显存占用,从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-04-27

在ACK托管集群(智能托管模式)中部署工作负载并实现负载均衡

本文介绍如何在ACK托管集群(智能托管模式)中部署一个工作负载,并通过ALB Ingress实现公网访问。完成后,您可以通过设定的域名访问该应用,实现外部流量的高效管理和负载均衡。

文章 2025-03-31 来自:开发者社区

K8s集群实战:使用kubeadm和kuboard部署Kubernetes集群

在云计算和微服务的时代,离不开容器集群的管理系统,Kubernetes(K8s)便是其中的佼佼者。那么,如何运用kubeadm和kuboard轻松布署一个稳定的K8s集群呢?以下是一段详细而形象的流程。 首先,确保你已经拥有了一台或一台以上的Linux服务器,因为Kubernetes是...

文章 2025-03-30 来自:开发者社区

集群部署:使用Rancher部署Kubernetes集群。

为了在集群中部署 Kubernetes,我们需要一台在默认情况下拥有管理员权限的主机。在这场景下,我们会使用 Rancher,这是一个免税,通用,基于云的开源平台,用来运行和管理 Kubernetes。使用 Rancher 部署 Kubernetes 集群,你赋予了自己更多的控制权,而...

阿里云文档 2025-03-19

使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务

为解决DeepSeek推理服务对GPU规格需求越来越高的问题,您可以通过ACK Edge集群管理本地IDC的GPU机器,并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行,当本地IDC GPU资源不足时,任务将自动调度至云上的ACS Serverless GPU,满足业务扩展需求的同时降低成本。

文章 2025-02-28 来自:开发者社区

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南

DeepSeek凭借其出色的推理表现在春节期间火爆全网,本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。 背景介绍 1. DeepSeek R1模型 DeepSeek-R1[1]模型是DeepSeek推出的第一代推理模型,旨在通过大规模强化学习提升大语言模型的推理能力。实验结果表明,Deep...

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
文章 2025-02-28 来自:开发者社区

部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足

春节期间,DeepSeek作为一款基于深度学习的智能推理模型,因其在自然语言处理、图像识别等领域的卓越表现迅速走红。无论是企业级应用还是学术研究,DeepSeek都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。 面对算力不足的挑战,阿里云推出的ACK One注册集群为企业提供了一种灵活、高效的解决方案。通过将本地数据中心的K8S集群接入阿里...

部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足
文章 2025-02-28 来自:开发者社区

部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙

阿里云ACK Edge集群采用云边一体化架构,云上托管Kubernetes控制面,接入IDC机器做为Kubernetes集群数据面节点。实现IDC机器的Kubernetes容器化管理,实现现有资源的利旧,提高应用的部署运维效率。 目前AI大模型业务快速发展,ACK Edge已经帮助大量客户管理IDC中GPU机器,使用容器快速部署AI大模型推理业务。但随着DeepSeek发布R1...

部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙
文章 2025-02-28 来自:开发者社区

部署 DeepSeek 但 GPU 不足,ACK One 注册集群助力解决 IDC GPU 资源不足

春节期间,DeepSeek 作为一款基于深度学习的智能推理模型,因其在自然语言处理、图像识别等领域的卓越表现迅速走红。无论是企业级应用还是学术研究,DeepSeek 都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。面对算力不足的挑战,阿里云推出的 ACK One 注册集群为企业提供了一种灵活、高效的解决方案。通过将本地数据中心的 K8s 集群接入阿里云 AC....

部署 DeepSeek 但 GPU 不足,ACK One 注册集群助力解决 IDC GPU 资源不足

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等