阿里云文档 2024-10-31

AI加速:使用TorchAcc实现ResNet-50模型分布式训练加速

阿里云PAI为您提供了部分典型场景下的示例模型,便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在ResNet-50分布式训练中接入TorchAcc并实现训练加速。

阿里云文档 2023-09-13

如何使用Blade优化基于TensorFlow的ResNet50模型_人工智能平台 PAI(PAI)

ResNet50作为一个广泛应用的经典结构网络,其优化在多种推理部署场景中都具有很高的实用价值。本文介绍如何使用Blade优化基于TensorFlow的ResNet50模型。

文章 2023-06-22 来自:开发者社区

模型推理加速系列 | 03:Pytorch模型量化实践并以ResNet18模型量化为例(附代码)

更多、更新文章欢迎关注 微信公众号:小窗幽记机器学习。后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题,敬请关注。 量化基础知识 量化的本质是信息压缩,在深度学习中一般是降低参数精度。DNN中的参数过载使得其有更多的自由度或者说更多的选择来进行信息压缩。量化后的模型更小、运行效率更高,进而能够支持更高的吞吐量。较小的模型内存占用和能耗较低,是边缘部署的关键。 映射函数...

模型推理加速系列 | 03:Pytorch模型量化实践并以ResNet18模型量化为例(附代码)
文章 2023-05-18 来自:开发者社区

【前沿经典模型】ResNet最强改进之ResNeSt(附源码)(二)

2.4、Training StrategyLarge Mini-batch Distributed TrainingLabel SmoothingAuto AugmentationMixup TrainingLarge Crop SizeRegularization2.5、实验结果分类任务目标检测任务实例分割任务语义分割2.6、ResNeSt实现代码2.6.1、splat.py"""Split-....

【前沿经典模型】ResNet最强改进之ResNeSt(附源码)(二)
文章 2023-05-18 来自:开发者社区

【前沿经典模型】ResNet最强改进之ResNeSt(附源码)(一)

1、ResNeSt简介    虽然图像分类模型最近继续向前发展,但大多数应用,如目标检测和语义分割仍然使用ResNet变种作为骨干网络,因为它们的简单和模块化的结构。该论文提出了一个模块化的分散注意力模块(Split-Attention block),通过将这些分散注意力模块的堆叠得到了一个新的分散注意力模块,称之为ResNeSt。网络保留了整个ResNet结构,以直接用于下....

【前沿经典模型】ResNet最强改进之ResNeSt(附源码)(一)
文章 2023-05-17 来自:开发者社区

零障碍合并两个模型,大型ResNet模型线性连接只需几秒,神经网络启发性新研究

这篇论文探讨了置换对称性(permutation symmetry)如何在 SGD 解决方案的线性模式连接中发挥重要作用。深度学习能够取得如此成就,得益于其能够相对轻松地解决大规模非凸优化问题。尽管非凸优化是 NP 困难的,但一些简单的算法,通常是随机梯度下降(SGD)的变体,它们在实际拟合大型神经网络时表现出惊人的有效性。本文中,来自华盛顿大学的多位学者撰文《 Git Re-Basin: Me....

零障碍合并两个模型,大型ResNet模型线性连接只需几秒,神经网络启发性新研究
文章 2023-05-11 来自:开发者社区

【Pytorch神经网络理论篇】 31 图片分类模型:ResNet模型+DenseNet模型+EffcientNet模型

同学你好!本文章于2021年末编写,获得广泛的好评!故在2022年末对本系列进行填充与更新,欢迎大家订阅最新的专栏,获取基于Pytorch1.10版本的理论代码(2023版)实现,Pytorch深度学习·理论篇(2023版)目录地址为:CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例,从可解释性的角度对深度学习的原理进行讲解与分析,通....

【Pytorch神经网络理论篇】 31 图片分类模型:ResNet模型+DenseNet模型+EffcientNet模型
问答 2023-01-29 来自:开发者社区

请问优化PyTorch模型时如何从torchvision加载ResNet50模型?

请问优化PyTorch模型时如何从torchvision加载ResNet50模型?

文章 2023-01-05 来自:开发者社区

CNN模型合集 | Resnet变种-WideResnet解读

论文题目:Wide Residual Networks代码链接:https://github.com/szagoruyko/wide-residual-networks所要解决的问题Resnet被证明能够扩展到数千层,并且仍然具有改进的性能。然而,每提高一个百分点的精确度,就要花费将近两倍的层数,因此训练非常深的Resnet存在着减少特征重用的问题,这使得这些网络的训练速度非常慢。为所以该篇论文....

CNN模型合集 | Resnet变种-WideResnet解读
文章 2022-06-13 来自:开发者社区

深度学习经典网络模型汇总——LeNet、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet【对卷积池化后特征图变化有详细讲解】

先来看一下我们要讲述哪些经典的网络模型,如下:LeNet :最早用于手写数字识别的CNN网络AlexNet :2012年ILSVRC比赛冠军,比LeNet层数更深,这是一个历史性突破。ZFNet :2013年ILSVRC比赛效果较好,和AlexNet类似。VGGNet :2014年ILSVRC比赛分类亚军、定位冠军GoogleNet :2014年ILSVRC分类比赛冠军ResNet :2015年....

深度学习经典网络模型汇总——LeNet、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet【对卷积池化后特征图变化有详细讲解】

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。