阿里云文档 2025-04-08

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型(671B)单卡显存不足的挑战,提出混合并行策略(Pipeline Parallelism=2 + Tensor Parallelism=8),结合阿里云Arena工具,实现在2台ecs.ebmgn8v.48xlarge(8*96GB)节点上的高效分布式部署。进一步演示如何将部署于AC...

文章 2023-11-22 来自:开发者社区

k8s实战系列:3-存储的花样玩法(下)

k8s实战系列:3-存储的花样玩法(上) 中我们谈论了Docker存储,已经Kubernetes中的配置数据中的ConfigMap和Secret, 接下来我们会讨论下Kubernetes中的临时存储,持久存储等⭐️3. DownwardAPIDownward API 允许容器在不使用 Kubernetes 客户端或 API 服务器的情况下获得自己或集群的信息。使用场景1. 作为环境变量apiVe....

k8s实战系列:3-存储的花样玩法(下)
文章 2023-11-22 来自:开发者社区

k8s实战系列:3-存储的花样玩法(上)

从存储,到后面的容器运行时,网络接口,可观察性组件等就可以感受到云原生的开放性,包容性和生态的丰富性。我们再回顾下云原生景观图https://landscape.cncf.io/Docker存储容器服务之所以如此流行,一大优势即来自于运行容器时容器镜像的组织形式。容器通过复用容器镜像的技术,实现在相同节点上多个容器共享一个镜像资源(更细一点说是共享某一个镜像层),避免了每次启动容器时都拷贝、加载....

k8s实战系列:3-存储的花样玩法(上)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注