问答 2024-07-17 来自:开发者社区

ModelScope中,对于部署llm,在需要使用多张gpu时,是不是推荐使用偶数张gpu?

ModelScope中,对于部署llm,在需要使用多张gpu时,是不是推荐使用偶数张gpu?

问答 2024-07-04 来自:开发者社区

modelscope中关于用swift对LLM量化时,参数的含义咨询

https://modelscope.cn/docs/LLM%E9%87%8F%E5%8C%96%E6%96%87%E6%A1%A3 链接中对原始模型量化,类似这样的命令: CUDA_VISIBLE_DEVICES=0 swift export \ --model_type qwen1half-7b-chat --quant_bits 4 \ --dataset alpaca-z...

问答 2024-07-02 来自:开发者社区

modelscope中,为什么说在llm推理的prefill阶段?

modelscope中,为什么说在llm推理的prefill阶段,如果prompt的tokens数量小于阈值,GPU的计算能力无法充分利用呢?

问答 2024-06-26 来自:开发者社区

ModelScope llm微调用python的时候,怎么使用自己的数据集?

ModelScope llm微调用python的时候,怎么使用自己的数据集?

问答 2024-06-04 来自:开发者社区

《七天入门LLM大模型》系列里面的例子是不是都可以用在线ModelScope的Note book跑?

《七天入门LLM大模型》系列里面的例子是不是都可以用在线ModelScope的Note book跑出来?

问答 2024-05-25 来自:开发者社区

请问modelscope中做量化swift和tensorRT llm有区别吗?

请问modelscope中做量化swift和tensorRT llm有区别吗?

问答 2024-05-21 来自:开发者社区

ModelScope中,为啥启动webui之后发现只有一个llm,安装多态的时候,cv没安装上?

ModelScope中,为啥启动webui之后发现只有一个llm,安装多态的时候,cv没安装上?

问答 2024-05-08 来自:开发者社区

ModelScope中llm的大模型必须用from,value的这种json形式吗?

ModelScope中llm的大模型必须用from,value的这种json形式吗?

问答 2024-05-08 来自:开发者社区

ModelScope想使用自己的数据集微调LLM大模型的话 自己的数据集的格式有什么要求吗?

ModelScope想使用自己的数据集微调LLM大模型的话 自己的数据集的格式有什么要求吗?

问答 2024-05-08 来自:开发者社区

ModelScope可以使用CPU微调和推理LLM吗 有代码示例吗?

ModelScope可以使用CPU微调和推理LLM吗 有代码示例吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"kvstore","productCardInfo":{"productTitle":"Tair KVCache","productDescription":"阿里云数据库 Tair KVCache 为 LLM 推理提供分布式动态分级缓存服务,通过软硬协同设计实现智能路由和缓存资源的最优管理,优化 GPU 服务器资源利用率的同时提升 LLM 推理的速度和吞吐性能,实现降本增效。","productContentLink":"https://www.aliyun.com/product/kvcache","isDisplayProductIcon":true,"productButton1":{"productButtonText":"了解详情","productButtonLink":"https://www.aliyun.com/product/kvcache"},"productButton2":{"productButtonText":"立即咨询","productButtonLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.1.66a55ac316TezL"},"productButton3":{"productButtonText":"","productButtonLink":""},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"最新活动","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"邀请试用","productPromotionInfoSecondLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.3.66a55ac316TezL"},{"$id":"1","productPromotionGroupingTitle":"快速入门","productPromotionInfoFirstText":"Tair KVCache 产品介绍","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/redis/product-overview/tair-kvcache?spm=5176.30063692.J_zhz1C6uKKPBvN1fur6xih.1.b87b5ac3Iu5Wen#ef4997358dmto","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"2","productPromotionGroupingTitle":"产品动态","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"Tair KVCache 推理缓存解决方案","productPromotionInfoSecondLink":"https://developer.aliyun.com/article/1658082"},{"$id":"3","productPromotionGroupingTitle":"产品推荐","productPromotionInfoFirstText":"云数据库 Tair(兼容 Redis®*)","productPromotionInfoFirstLink":"https://www.aliyun.com/product/tair","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问