阿里云文档 2025-04-08

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型(671B)单卡显存不足的挑战,提出混合并行策略(Pipeline Parallelism=2 + Tensor Parallelism=8),结合阿里云Arena工具,实现在2台ecs.ebmgn8v.48xlarge(8*96GB)节点上的高效分布式部署。进一步演示如何将部署于AC...

文章 2022-08-06 来自:开发者社区

【云原生】2.5 Kubernetes 核心实战(下)

  哈喽~大家好呀,我们这篇继续开始上篇和上上篇的讲解,好吧,废话少说,我们就来开始上课吧!一、基本概念与NFS环境搭建看图,在未来,我们有各种各样的 Pod,有一些数据想挂在外面修改,比如:我们将 Pod 的 / data,挂在到 / a里面,其他也一样。当我们三号机某一应用出现故障时,这是他会故障转移,等 5 分钟后还没自愈成功,这是会转移到 2 号机上面,但三号机的数据会在 2 ....

【云原生】2.5 Kubernetes 核心实战(下)
文章 2022-08-06 来自:开发者社区

【云原生】2.4 Kubernetes 核心实战(中)

  哈喽~大家好呀,我们这篇呢继续上一篇的讲解(Kubernetes 核心实战(上)),接下来就直接上课吧一、前言上篇我们讲到Deployment 作用:它具有多副本,自愈,扩缩容等能力。1、Kubernetes 扩缩容性扩容性:我们在 Kubernetes 上面部署了一个应用,应用下面有很多 Pod,当我们的流量高峰期的时候,空间不够用的时候,这时,Kubernetes 就会进行扩大....

【云原生】2.4 Kubernetes 核心实战(中)
文章 2022-08-06 来自:开发者社区

【云原生】2.3 Kubernetes 核心实战(上)

  哈喽~大家好呀,前面一篇我们部署了集群并且设置好了可视化界面,接下来我们进入到核心实战部分吧。一、操作Namespace我们资源创建的方式有命令行和 YAML。Namespace(名称空间)是用来隔离资源的。注:名称空间,用来对集群资源进行隔离划分。默认只隔离资源,不隔离网络。一般系统自带的有:kube-node-lease、kube-public、kube-system 等,默认....

【云原生】2.3 Kubernetes 核心实战(上)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问