LLM 大语言模型应用/推理服务接入 ARMS
Python探针是阿里云可观测产品自研的Python语言的可观测采集探针,其基于OpenTelemetry标准实现了自动化埋点能力,支持追踪LLM应用程序。
使用EAS部署LLM大语言模型
EAS(Elastic Algorithm Service)是PAI为在线推理场景提供的模型在线服务,为自动化部署和应用LLM大语言模型提供了一键式解决方案。通过EAS,您可以轻松部署多种开源大模型服务应用,同时支持标准部署和多种加速部署方式。使用加速部署,您可以体验到高并发和低延迟的技术优势。本文为您介绍如何通过EAS一键部署和调用LLM大语言模型,以及常见的问题和解决方法。
36.7K star!拖拽构建AI流程,这个开源LLM应用框架绝了!
嗨,大家好,我是小华同学,关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法 只需拖拽节点,5分钟搭建专属AI工作流! Flowise 是一款革命性的低代码LLM应用构建工具,开发者通过可视化拖拽界面,就能快速搭建基于大语言模型的智能工作流。该项目在...

LLM应用概览
为LLM(Large Language Model)应用安装Python探针后,ARMS即可开始监控LLM应用,您可以在概览页面了解LLM应用的大模型调用次数、Token使用次数、Trace数、会话数等信息。
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! 微信公众号|搜一搜:蚝油菜花 大家好,我是蚝油菜花,今天跟大家分享一下 MNN-LLM App 这个基于 MNN-LLM 框架开发的手机 AI 助手应用。在此之前,如果你想了解什么是 MNN,可以阅读《MNN:阿里开源...

基于ModelScope模型库和GPU实例闲置计费功能低成本快速搭建LLM应用
LLM(Large Language Model)是指大型语言模型,是一种采用深度学习技术训练的具有大量参数的自然语言处理模型。您可以基于ModelScope模型库和函数计算GPU实例的闲置计费功能低成本快速搭建LLM应用实现智能问答。
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。