文章 2024-11-04 来自:开发者社区

基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程

一、测试环境准备1.1硬件信息ECS 云主机配置: 32核心 128G内存 400G SSD硬盘GPU加速卡:NVIDIA A30 * 8半精度:165 TFLOPS显存:24G 1.2 系统软件环境要求要求:根据NVIDIA官方给出的驱动版本安装对应的CUDA及对应软件包环境。参考如下图1:操作系统&...

基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
问答 2024-07-03 来自:开发者社区

阿里云百炼通义千问MAX 和 通义千问2-开源版-72B token和效果有什么区别?

阿里云百炼通义千问MAX 和 通义千问2-开源版-72B token和效果有什么区别?

问答 2024-04-24 来自:开发者社区

如果企业想要本地话部署Modelscope通义千问72B模型,需要多少计算资源和费用?

如果企业想要本地话部署Modelscope通义千问72B模型,需要多少计算资源和费用?

问答 2024-04-18 来自:开发者社区

ModelScope中Use via API 怎么使用呢?

如何通过ModelScope的API来使用"通义千问-72B-对话-Demo"?

问答 2024-02-14 来自:开发者社区

阿里云OpenAPI通义千问72b开源模型支持在本地训练数据吗,本地知识库,放进去训练?

阿里云OpenAPI通义千问72b开源模型支持在本地训练数据吗,本地知识库,放进去训练?

问答 2023-12-26 来自:开发者社区

ModelScope通义千问72B有多模态能力吗?

如题如果有,如何使用它的多模态能力,哪里能找到demo?

文章 2023-12-01 来自:开发者社区

通义千问72B、1.8B、Audio模型开源!魔搭社区最佳实践来啦!

引言今天,通义千问再次重磅开源!阿里云开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B 及 音频大模型Qwen-Audio,魔搭社区已首发上线!本次开源的模型中除预训练模型外,还同步推出了对应的对话模型,面向72B、1.8B对话模型提供了4bit/8bit 量化版模型,便于开发者们推理训练。目前,魔搭社区提供一站式体验、下载、推理、微调、部署服务及教程,欢迎开发者小....

通义千问72B、1.8B、Audio模型开源!魔搭社区最佳实践来啦!

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

通义大模型

通义千问大模型家族全面升级更大参数规模模型首次面世,全新通义千问2.0版本欢迎体验。https://tongyi.aliyun.com/

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等