阿里云文档 2024-11-04

基于ModelScope模型库和GPU实例闲置计费功能低成本快速搭建LLM应用

LLM(Large Language Model)是指大型语言模型,是一种采用深度学习技术训练的具有大量参数的自然语言处理模型。您可以基于ModelScope模型库和函数计算GPU实例的闲置计费功能低成本快速搭建LLM应用实现智能问答。

问答 2024-08-21 来自:开发者社区

modelscope-funasr这个量化模型在哪里下载?

modelscope-funasr这个量化模型在哪里下载?speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch

阿里云文档 2024-08-13

在ACK中快速体验大语言模型

部署模型时,您可以根据自身需求选择模型来源以及部署模型的平台。本文以Qwen1.5-4B-Chat模型、GPU类型为T4卡为例,演示如何在ACK中快速部署ModelScope模型、HuggingFace模型及本地模型。

问答 2024-07-23 来自:开发者社区

modelscope中使用:swift export,来合并量化模型,报错是为什么?

"请问一下,使用:swift export \ --ckpt_dir '/data/PAI/modules/checkpoint-160' \ --merge_lora true --quant_bits 4 \ --model_id_or_path /root/Qwen1.5-14B-Chat \ --load_dataset_config true --quant_m...

问答 2024-06-19 来自:开发者社区

modelscope中,如果租阿里云的ecs,部署ollama,用72b的量化模型,需要什么配置?

modelscope中,如果租阿里云的ecs,部署ollama,用72b的量化模型,大概需要怎样的配置?

问答 2024-06-19 来自:开发者社区

请问下, modelscope中量化的模型,大概能降低多少配置要求呢?

"请问下, modelscope中量化的模型,大概能降低多少配置要求呢? 目前我试了下,我本地是deepin20.9系统,2核cpu,8g内存,nv730-2g。 部署ollama的qwen2-7b,有点卡一秒输出2-3字符,1.5b就很流畅。 但是魔搭云端好像是8cpu,32g内存,直接部署7b会爆,1.5b很流畅。 然后我的古董笔记本ollama部署0.5b都很卡。"

问答 2024-06-19 来自:开发者社区

modelscope部署了ollama量化后的模型和直接部署模型有什么区别吗?

modelscope部署了ollama量化后的模型和直接部署模型有什么区别吗,除了可以降低对配置的要求,有没有啥别的缺陷?

问答 2024-06-19 来自:开发者社区

ModelScope部署了ollama量化的模型,还可以继续进行优化和深度学习么?

ModelScope部署了ollama量化的模型,还可以继续进行优化和深度学习么?

问答 2024-05-29 来自:开发者社区

modelscope-funasr非量化版的模型 是不是不能直接在示例docker上替换模型使用呢?

modelscope-funasr非量化版的模型 是不是不能直接在示例docker上替换模型使用呢?

问答 2024-05-25 来自:开发者社区

请问ModelScope的量化模型支持 export?

"请问ModelScope的量化模型支持 export?"

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐