阿里云文档 2025-05-26

使用eRDMA网络进行分布式训练

弹性RDMA(Elastic Remote Direct Memory Access,简称eRDMA)是阿里云自研的云上弹性RDMA网络。PAI通用计算资源中的部分GPU机型已支持eRDMA能力,您只需使用特定镜像提交基于这些GPU机型的DLC任务,系统将自动在容器内挂载eRDMA网卡,从而加速分布式训练过程。

文章 2025-05-07 来自:开发者社区

【解决方案】DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

在大语言模型领域的快速发展中,如何有效平衡高效推理和模型思维能力之间的矛盾一直是学术界和工业界关注的重点。DeepSeekV3-0324 默认没有采用深度思考的模式,使得模型推理速度更快,兼顾了快速推理和复杂任务处理之间的平衡。 DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列,包括 DistilQwen2、DistilQwen2.5、DistilQwen2...

【解决方案】DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
文章 2025-04-08 来自:开发者社区

【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

随着 DeepSeek-R1 和 QwQ-32B 等面向深度推理的大语言模型的开源,“大模型+慢思考”已成为拓展大语言模型智能边界的标准配置。然而,这些模型在资源受限的移动设备和边缘计算场景中的普及仍面临巨大挑战。因此,学术界和工业界迫切需要解决如何有效利用知识蒸馏技术,将这些超大规模深度推理模型的知识迁移到小模型中,从而提升计算效率并降低部署成本的问题。为此,阿里云人工智能平台 PAI 在 D....

【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
阿里云文档 2025-03-27

多模态大模型Pipeline构建:多模态数据处理与大模型训练实战指南

多模态模型预训练可提升跨模态理解与泛化能力,优化下游任务表现,适用于图像描述、视觉问答等跨模态任务。本方案以LLaVa多模态数据集和Qwen2-VL-7B-Instruct模型为例,介绍从数据准备、多模态模型预训练到服务部署的完整流程。

文章 2025-03-12 来自:开发者社区

DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

Qwen2.5(通义千问2.5)是阿里云推出的开源大型语言模型系列,具有很强的代码、数学、推理、指令遵循、多语言理解等能力。DistilQwen2.5 是阿里云人工智能平台 PAI 基于Qwen2.5 大模型推出的、通过黑盒化知识蒸馏和白盒化 Logits 蒸馏结合,进行指令遵循效果增强的、参数较小的语言模型。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显....

DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
文章 2024-12-31 来自:开发者社区

魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!

现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦! PAI-Model Gallery是阿里云人工智能平台PAI的产品组件,它集成了国内外 AI 开源社区中优质的预训练模型,涵盖了包括LLM、AIGC、CV、NLP等各个领域。通过 PAI 对这些模型的适配,用户可以通过零代码的方式实现从训练到部署再到推理的全过程,大...

魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
文章 2024-11-27 来自:开发者社区

Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践

Qwen2.5-Coder 是阿里云最新推出的专门针对代码的 Qwen 大型语言模型系列。目前,Qwen2.5-Coder 覆盖了多种主流模型尺寸:0.5B、1.5B、3B、7B、14B 和 32B,以满足不同开发人员的需求。Qwen2.5-Coder 将训练 tokens 扩展到 5.5 万亿,在代码生成、代码推理和代码纠错能力方面有着显...

Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
文章 2024-11-20 来自:开发者社区

DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践

Qwen2(通义千问2)是阿里云研发的开源大型语言模型系列,具有很强的代码、数学、推理、指令遵循、多语言理解等能力。DistilQwen2 是阿里云人工智能平台 PAI 基于 Qwen2 大模型推出的、通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下&...

DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
文章 2024-08-21 来自:开发者社区

揭秘大型机器学习模型背后的秘密:如何在技术深度与广度之间找到完美平衡点,探索那些鲜为人知的设计、训练与部署技巧,让你的作品脱颖而出!

大型机器学习模型已经成为当今人工智能领域的重要研究方向之一。随着计算资源的不断进步和数据量的爆炸性增长,构建大规模、高性能的机器学习模型已成为可能。这些模型不仅在学术研究中取得了显著成果,在工业界也得到了广泛应用,推动了一系列创新产品的诞生。本文将从技术深度与广度的角度出发,探讨大型机器学习模型的设计、训练与部署过程中的关键技术和挑战。 首...

问答 2024-08-14 来自:开发者社区

机器学习PAI这边北京训练的模型使用了北京的镜像,现在要部署到张家口的EAS,拉取不到跟北京一样的镜

机器学习PAI这边北京训练的模型使用了北京的镜像,现在要部署到张家口的EAS,拉取不到跟北京一样的镜像,这个问题怎么解决啊?张家口部署是因为flink, hologres等服务都在张家口, 推理服务想离数据源近些

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问