极智AI | 讲解TensorRT Activation算子
大家好,我是极智视界,本文讲解一下 TensorRT Activation 算子。激活函数在神经网络中具有增加非线性、数据归一化 或 调整数据分布的作用。在分类、目标检测任务中都会有所涉及,如 relu、sigmoid、relu 等。这里讲解 TensorRT 中的 Activation 算子实现。1 TensorRT Activation 算子介绍TensorRT Activation 有丰富....

极智AI | 讲解TensorRT Fully Connected算子
大家好,我是极智视界,本文讲解一下 TensorRT Fully Connected 算子。Fully Connected 也即 全连接层, 一般作为分类头或特征头使用。全连接层是个经典层,并不复杂,若没有偏置的话就是一个矩阵乘,如有偏置的话,就是一个矩阵乘然后接一个矩阵加。这里我们来看看 TensorRT 中 Fully Connected 的几种实现方式。1 TensorRT 原生算子实现用....

极智AI | 讲解TensorRT Constant算子
大家好,我是极智视界,本文讲解一下 TensorRT Constant 算子。Constant 算子是指常量层,这个算子一般是什么时候使用呢:一般当下一个算子是两矩阵乘 或 两矩阵点乘 或 两矩阵拼接等这类两头输入的算子,而某一个矩阵需要离线读取时,就需要用到 Constant 算子来构建这个离线读取的张量。以上介绍了 Constant 算子一个使用场景,下面介绍 TensorRT 中 Cons....

极智AI | 讲解TensorRT怎么实现torch.select层
大家好,我是极智视界,本文讲解一下 TensorRT 实现 torch.select 层。我们知道,有很多算子都不会在 TensorRT 的原生支持算子列表里,当然这里要讲的 select 算子也是一样。然而,大部分的算子通过一些 TensorRT 原生算子的再组合就能实现,像 select、hardswich 等算子都可以这么去做,但像 layernorm 等其他一些不容易通过原生算子组合实现....

极智AI | 初识TensorRT Plugin
大家好,我是极智视界,本文介绍一下 初识 TensorRT Plugin。TensorRT 构建模型推理一般有三种方式:(1) 使用框架自带的 TensorRT 接口,如 TF-TRT、Torch-TRT;(2) 使用 Parser 前端解释器,如 TF / Torch / … -> ONNX -> TensorRT;(3) 使用 TensorRT 原生 API 搭建网络。如果你不做....

极智AI | 谈谈Tengine TensorRT后端组织流程
大家好,我是极智视界,本文主要谈谈 Tengine TensorRT 后端组织流程。1、后端斜接通用部分首先在 Tengine 工程的 examples 中找一个 trt 后端的例程切入,这里拿 tm_classification_trt 进行说明。在 tm_classification_trt.cpp 的 main 中实现分类功能的函数如下,这里会传入算法的配置参数:if (tengine_c....

极智AI | 教你tensorrt实现mish算子
本文介绍了使用 tensorrt 实现 mish 算子的方法。相信做过目标检测的同学对 yolo 肯定比较熟悉了,yolov4是 2020 年初提出的,相继后来有了 yolov5 和其他一些变体,yolov4 中汇集了很多 tricks,其中 mish 激活函数也在其中。mish 在这篇论文《Mish: A Self Regularized Non-Monotonic Activation Fu....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。
+关注