阿里云文档 2025-03-18

双机分布式部署满血版Deepseek模型

DeepSeek-V3/R1是一个具有超过600亿参数的专家混合(MoE)模型,且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架,在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置,即可实现开箱即用。

阿里云文档 2025-03-17

双机分布式部署满血版Deepseek模型

DeepSeek-V3/R1是一个具有超过600亿参数的专家混合(MoE)模型,且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架,在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置,即可实现开箱即用。

阿里云文档 2025-02-13

使用DeepNCCL加速模型的分布式训练或推理性能

DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况,在不同的GPU云服务器上安装DeepNCCL通信库,以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。

阿里云文档 2024-12-30

如何使用IntelliJ IDEA部署ECS应用到EDAS

您在本地完成应用的开发、调试和测试后,可以在IntelliJ IDEA中安装Cloud Toolkit插件将应用快速部署到EDAS中。本文介绍如何在IntelliJ IDEA中安装Cloud Toolkit,并快速部署应用到EDAS。

阿里云文档 2024-09-20

什么是阿里云应用服务器

阿里云应用服务器(AliEE)是一款企业级JavaEE的应用服务器软件,用于构建和部署企业级应用程序。它提供了一个可扩展、可靠、安全的平台,支持多种应用程序开发语言和协议,包括Java、J2EE、Web Services、SOAP、HTTP、HTTPS等。阿里云应用服务器可以在多种操作系统上运行,包括Windows、Linux等,也支持多种服务器芯片。

问答 2022-09-22 来自:开发者社区

Overview中服务器端程序设计8-分布式缓存具体有什么要求呢?

Overview中服务器端程序设计8-分布式缓存具体有什么要求呢?

问答 2022-09-22 来自:开发者社区

Overview中服务器端程序设计8-分布式缓存有什么内容呀?

Overview中服务器端程序设计8-分布式缓存有什么内容呀?

问答 2022-09-22 来自:开发者社区

Overview中服务器端程序开发1-远程方法调用与分布式对象包括什么呢?

Overview中服务器端程序开发1-远程方法调用与分布式对象包括什么呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注