文章 2025-01-16 来自:开发者社区

为RTP-LLM提供Arm CPU后端,助力Arm

为RTP-LLM提供Arm CPU后端,助力Arm   RTP LLM 是一个大语言模型推理和加速的引擎,主要是用 C++ 和 Python 编写的,它在阿里巴巴的电商平台得到了生产环境的部署和应用。在性能上,最原始的后端是基于 GPU 扩大的高性能内核,可以达到一个业界领先...

为RTP-LLM提供Arm CPU后端,助力Arm
文章 2024-10-21 来自:开发者社区

昂贵LLM的救星?Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

在人工智能(AI)领域,硬件的能源消耗一直是一个备受关注的问题。然而,最近发表在《自然》杂志上的一项研究,为我们带来了一种可能的解决方案——线性对称自选14位动能分子忆阻器。 忆阻器,作为一种新型的非易失性存储器件,因其在模拟计算和神经形态计算中的潜在应用而备受关注。然而,现有的忆阻器...

文章 2024-02-23 来自:开发者社区

mnn-llm: 大语言模型端侧CPU推理优化

在大语言模型(LLM)端侧部署上,基于 MNN 实现的 mnn-llm 项目已经展现出业界领先的性能,特别是在 ARM 架构的 CPU 上。目前利用 mnn-llm 的推理能力,qwen-1.8b在mnn-llm的驱动下能够在移动端达到端侧实时会话的能力,能够在较低内存(<2G)的情况下,做到快速响应。 ...

mnn-llm: 大语言模型端侧CPU推理优化

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"kvstore","productCardInfo":{"productTitle":"Tair KVCache","productDescription":"阿里云数据库 Tair KVCache 为 LLM 推理提供分布式动态分级缓存服务,通过软硬协同设计实现智能路由和缓存资源的最优管理,优化 GPU 服务器资源利用率的同时提升 LLM 推理的速度和吞吐性能,实现降本增效。","productContentLink":"https://www.aliyun.com/product/kvcache","isDisplayProductIcon":true,"productButton1":{"productButtonText":"了解详情","productButtonLink":"https://www.aliyun.com/product/kvcache"},"productButton2":{"productButtonText":"立即咨询","productButtonLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.1.66a55ac316TezL"},"productButton3":{"productButtonText":"","productButtonLink":""},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"最新活动","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"邀请试用","productPromotionInfoSecondLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.3.66a55ac316TezL"},{"$id":"1","productPromotionGroupingTitle":"快速入门","productPromotionInfoFirstText":"Tair KVCache 产品介绍","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/redis/product-overview/tair-kvcache?spm=5176.30063692.J_zhz1C6uKKPBvN1fur6xih.1.b87b5ac3Iu5Wen#ef4997358dmto","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"2","productPromotionGroupingTitle":"产品动态","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"Tair KVCache 推理缓存解决方案","productPromotionInfoSecondLink":"https://developer.aliyun.com/article/1658082"},{"$id":"3","productPromotionGroupingTitle":"产品推荐","productPromotionInfoFirstText":"云数据库 Tair(兼容 Redis®*)","productPromotionInfoFirstLink":"https://www.aliyun.com/product/tair","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问