文章 2025-02-28 来自:开发者社区

DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 “训练效率翻倍!DeepSeek 开源双向流水线并行技术,大幅降低内存峰值需求” 大家好,我是蚝油菜花。你是否...

DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
文章 2024-08-22 来自:开发者社区

就AI 基础设施的演进与挑战问题之流水线并行工作的问题如何解决

问题一:175B模型在训练时大概需要多少显存? 175B模型在训练时大概需要多少显存? 参考回答: 175B模型在训练时,以FP16精度计算,模型参数大概占用350G显存,模型梯度也需要350G,优化器需要的显存规模大概在2100GB,因此合并起来大概需要2800GB的显存规模。 关于本问题的更多回答可点击原文查看: https://d...

文章 2024-07-18 来自:开发者社区

阿里云云效产品使用合集之流水线的并行可以如何实现

问题一:在云效中通过流水线的webhook接口,通过接口的方式可以发布我所有的服务流水线能否设置并行执行呢? 在云效中通过流水线的webhook接口,通过接口的方式可以发布我所有的服务,流水线能否设置并行执行呢? 参考回答: ...

阿里云云效产品使用合集之流水线的并行可以如何实现
问答 2024-07-10 来自:开发者社区

云效流水线使用云端缓存 并行构建 的时候会冲突吗?

云效流水线使用云端缓存 并行构建 的时候会冲突吗?

问答 2024-07-04 来自:开发者社区

流水线并行是如何工作的?

流水线并行是如何工作的?

问答 2024-01-23 来自:开发者社区

在云效中通过流水线的webhook接口,通过接口的方式可以发布我所有的服务流水线能否设置并行执行呢?

在云效中通过流水线的webhook接口,通过接口的方式可以发布我所有的服务,流水线能否设置并行执行呢?

问答 2023-12-13 来自:开发者社区

云效流水线的并行数量限制是多少?

云效流水线的并行数量限制是多少?

问答 2023-10-18 来自:开发者社区

云效同一条流水线先后发git master分支和另一个分支,这两分支是对应两套环境,可以并行执行吗?

云效同一条流水线我先后发git master分支和另外一个分支,我看部署的时候在排队,我这两分支是对应两套环境 这个flow任务可以并行执行吗?

问答 2023-09-27 来自:开发者社区

我想在一个云效流水线中选择可部署的服务。这个支持的方案是?多个并行任务?

我想在一个云效流水线中选择可部署的服务。这个支持的方案是?多个并行任务?还是我可以定义数组变量循环操作那种方式?

问答 2023-06-21 来自:开发者社区

云效流水线里的流程,如果有并行的,能不能增加临时禁用的功能?现在只有自动和手动两种模式,但是有的时候

云效流水线里的流程,如果有并行的,能不能增加临时禁用的功能?现在只有自动和手动两种模式,但是有的时候可能在执行的时候要临时禁用某个并行,比如构建的步骤,我临时只想构建server模块,有没有可以临时禁用或者跳过其他并行构建的方法?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐