极智AI | 三谈昇腾CANN量化
大家好，我是极智视界，本文介绍一下 三谈昇腾CANN量化。在之前我已经从原理和命令行的量化执行方面介绍了昇腾CANN的量化，有兴趣的同学可以去查看，附上：《谈谈昇腾CANN量化》 ==> 昇腾CANN量化原理；《再谈昇腾CANN量化》 ==> 昇腾CANN命令行量化执行；这里我们来谈谈CANN量化的Python API，当然这跟命令行的量化执行一样，功能上也是进行量化操作。先来一个r....
极智AI | 再谈昇腾CANN量化
大家好，我是极智视界，本文介绍一下 再谈昇腾CANN量化。在上一篇已经介绍了昇腾CANN量化的原理，对于原理或公式推导有兴趣的同学可以去看一看：《谈谈昇腾CANN量化》。这篇咱们继续，来谈谈昇腾CANN量化的命令行操作。要进行量化操作，首先要安装好量化环境，这里先简单介绍一下量化环境的安装：# (1) Anacona3安装，用conda管理python环境，略过 # (2) conda创建amc....
极智AI | 谈谈昇腾CANN量化
大家好，我是极智视界，本文介绍一下 谈谈昇腾CANN量化。昇腾CANN的量化体现在AMCT工具，也即模型压缩工具，后面再来说AMCT，这篇先聊一下昇腾CANN的量化执行流程和原理。量化是指对原始框架的模型权重weights 和 数据activation 进行低比特化int8的处理，以此可以达到的优化效果如下：量化分为训练后量化(Post-Training Quantization) 和 量化感知....
极智AI | 谈谈为什么量化能加速推理
本文主要讨论一下为什么量化能加速模型推理。前面已经写过几篇关于模型量化相关的文章：《【模型推理】谈谈几种量化策略：MinMax、KLD、ADMM、EQ》、《【模型推理】谈谈模型量化组织方式》、《【模型推理】谈谈非线性激活函数的量化方式》，要了解相关知识可以查阅，这里主要讨论一下为什么量化能加速模型推理。量化经常会涉及到 Quantize 和 Dequantize 的过程，其实对于不量化的 flo....
极智AI | 谈谈非线性激活函数的量化方式
本文主要聊一聊深度学习模型量化中对激活函数的处理方式。之前已经写过几篇关于模型量化的文章：《【模型推理】谈谈几种量化策略：MinMax、KLD、ADMM、EQ》、《【模型推理】谈谈模型量化组织方式》，里面对一些常用的量化算法及量化的组织方式进行了一些介绍，有兴趣的同学可以查阅。这里主要说一下模型中的激活函数特别是非线性激活函数的量化方式。RELU 函数比较特殊，在 Conv 后跟着 RELU 后....
极智AI | 谈谈几种量化策略：MinMax、KLD、ADMM、EQ
本文主要聊一下深度学习模型量化相关策略。模型小型化是算法部署的关键技术，模型小型化的过程通常用模型量化来描述。量化通常是高比特位到低比特位的映射过程，量化的对象既可以是权重数据，也可以是激活值。量化方式具有多种形态，不管是混合量化、还是全整型量化；不管是单层量化、成组量化、还是整网量化，都存在浮点数映射到整型数的过程，这个过程一定存在精度损失，而对于我们来说，要做的是把精度损失控制在可接受的范围....
极智AI | 量化实现分享一：详解min-max对称量化算法实现
大家好，我是极智视界，本文剖析一下 min-max 对称量化算法实现，以 Tengine 的实现为例。Tengine 是 OpenAILab 开源的优秀端侧深度学习推理框架，其核心主要由 C 语言实现，包裹的功能代码嵌套了 C++。量化是推理加速必不可少的优化环节，成熟的推理框架一般会把量化模块剥离出来形成独立的一套工具，如 Tengine、NCNN、昇腾、寒武纪都这么做，这主要是因为量化过程和....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注