阿里云文档 2024-02-22

BERT模型离线推理组件说明

BERT模型离线推理组件主要用于BERT模型的离线推理,利用已经训练完的BERT分类模型,对输入表中的文本进行分类。

阿里云文档 2024-01-03

如何使用Blade优化通过TensorFlow训练的BERT模型

BERT(Bidirectional Encoder Representation from Transformers)是一个预训练的语言表征模型。作为NLP领域近年来重要的突破,BERT模型在多个自然语言处理的任务中取得了最优结果。然而BERT模型存在巨大的参数规模和计算量,因此实际生产中对该模型具有强烈的优化需求。本文主要介绍如何使用Blade优化通过TensorFlow训练的BERT模型。

阿里云文档 2023-11-03

AI加速:使用TorchAcc实现Bert模型分布式训练加速_人工智能平台 PAI(PAI)

阿里云PAI为您提供了部分典型场景下的示例模型,便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在BERT-Base分布式训练中接入TorchAcc并实现训练加速。

文章 2023-06-22 来自:开发者社区

模型推理加速系列 | 01:如何用ONNX加速BERT特征抽取(附代码)

简介近期从事模型推理加速相关项目,所以抽空整理最近的学习经验。本次实验目的在于介绍如何使用ONNXRuntime加速BERT模型推理。实验中的任务是利用BERT抽取输入文本特征,至于BERT在下游任务(如文本分类、问答等)上如何加速推理,后续再介绍。PS:本次的实验模型是BERT-base中文版。更多、更新文章欢迎关注 微信公众号:小窗幽记机器学习。后续会持续整理模型加速、模型部署、模型压缩、L....

模型推理加速系列 | 01:如何用ONNX加速BERT特征抽取(附代码)
文章 2023-06-22 来自:开发者社区

模型推理加速系列 | 02:如何用ONNX加速BERT特征抽取-part2(附代码)

背景 本文紧接之前的一篇文章如何用ONNX加速BERT特征抽取,继续介绍如何用ONNX+ONNXRuntime来加速BERT模型推理。 更多、更新文章欢迎关注微信公众号:小窗幽记机器学习。后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题,敬请关注。 如果看过之前的那篇文章的童鞋估计还记得文中留了一个疑问:为何优化过的ONNX模型与未优化的ONNX性能相近?说好的优化,...

模型推理加速系列 | 02:如何用ONNX加速BERT特征抽取-part2(附代码)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问