容器服务Kubernetes版ai推理的相关内容

阿里云文档 2025-03-26

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-03-19

在ACK Edge集群中部署混合云LLM弹性推理

为解决混合云场景下部署LLM推理业务时，流量的不均衡带来的数据中心GPU资源分配问题，ACK Edge集群提供了一套混合云LLM弹性推理解决方案，帮您统一管理云上和云下的GPU资源，低峰期优先使用云下数据中心资源，高峰期资源不足时快速启用云上资源。该方案帮您显著降低LLM推理服务运营成本，动态调整并灵活利用资源，保障服务稳定性，避免资源闲置。

阿里云文档 2025-03-19

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况，即使GPU利用率达到了100%，也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA（Knative Pod Autoscaler）能够根据QPS或RPS来调整资源分配，更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，介绍如何在Knati...

文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

阿里云文档 2024-11-01

AI模型推理服务在Knative中最佳配置实践

Knative和AI结合提供了快速部署、高弹性和低成本的技术优势，适用于需要频繁调整计算资源的AI应用场景，例如模型推理等。您可以通过Knative Pod部署AI模型推理任务，配置自动扩缩容、灵活分配GPU资源等功能，提高AI推理服务能力和GPU资源利用率。

阿里云文档 2024-07-01

部署GPU共享推理服务

在某些场景下，您可能需要将多个模型推理任务共享在同一块GPU以提高GPU的利用率。本文以模型类型为Qwen1.5-0.5B-Chat，GPU类型为V100卡为例，演示如何使用KServe部署GPU共享的模型推理服务。

文章 2024-03-30 来自：开发者社区

如何基于ACK Serverless快速部署AI推理服务

基于ACK Serverless（Alibaba Cloud Kubernetes Serverless Framework）快速部署AI推理服务的步骤如下：创建函数计算服务：在阿里云控制台，创建一个函数计算服务，用于托管AI推理服务的代码。编写AI推理代码：使用适合的编程语言编写AI推理...

文章 2023-08-04 来自：开发者社区

如何基于 ACK Serverless 快速部署 AI 推理服务

作者：元毅随着 AI 浪潮的到来，各种 AI 应用层出不穷，众所周知 AI 应用对 GPU 资源强烈依赖，但 GPU 很昂贵，如何降低 GPU 资源使用成本成为用户首要问题。而 AI 与 Serverless 技术结合，完全可以达到按需使用资源，降低资源成本的目的。那么在云原生场景下，是否有这样开箱即用、标准、开放的方案呢？答案是有。我们在 ACK Serverless 中提供 Knative ....