使用DeepSeek-R1模型搭建RAG系统
DeepSeek-R1系列模型是一款专注于复杂推理任务的大语言模型,在复杂指令理解、推理结果准确性、性能稳定性等方面相比其他大语言模型,有一定优势。OpenSearch LLM智能问答版集成DeepSeek-R1系列模型,进一步提升企业级RAG效果,本文向您介绍集成使用步骤。
使用阿里云服务网格高效管理LLM流量:(二)流量可观测
【阅读原文】戳:使用阿里云服务网格高效管理LLM流量:(二)流量可观测 良好的可观测能力是构建一个高效、稳定的分布式应用的前提,在LLM应用中更是如此。纵观很多复杂系统的发展历程后不难发现:标准化以及分层是时间大浪淘沙留下来的经典方案。起初开发人员需要手动编写代码,自行控制透出可观测信息;之后这些可观测逻辑被下沉到开发框架中,由开发框架透出一部分通用信息;服务网格出现之后,越来...

通过阿里云Milvus和LangChain快速构建LLM问答系统
阿里云向量检索服务 Milvus 版是一款云上全托管服务,确保了与开源Milvus的100%兼容性,并支持无缝迁移。在开源版本的基础上增强了可扩展性,能提供大规模 AI 向量数据的相似性检索服务。相比于自建,目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择,包括....

通过阿里云Python LLM SDK上报LLM Trace数据
阿里云自研Python LLM SDK为LLM应用提供高质量的埋点能力,并自动上报链路数据至可观测链路 OpenTelemetry 版。数据上报成功后,可观测链路 OpenTelemetry 版即可开始监控应用,您可以查看LLM领域的新版TraceView,更直观地分析不同操作类型的输入输出、Token消耗等信息。
通过阿里云Python LLM SDK上报LLM Trace数据
阿里云自研Python LLM SDK为LLM应用提供高质量的埋点能力,并自动上报链路数据至可观测链路 OpenTelemetry 版。数据上报成功后,可观测链路 OpenTelemetry 版即可开始监控应用,您可以查看LLM领域的新版TraceView,更直观地分析不同操作类型的输入输出、Token消耗等信息。
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入发展,企业对于内部文档管理和知识提取的需求日益增长。传统的文档管理和信息检索方式已经难以满足现代企业的高效运作需求。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,旨在帮助企业构建强大的LLM(Large Language Model...
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
一、体验概述 本次体验(文档智能 & RAG让AI大模型更懂业务)活动,特别是其在文档智能和检索增强生成(RAG)结合构建的LLM知识库方面的表现。体验过程中,我们重点关注了文档内容清洗、文档内容向量化、问答内容召回以及通过特定Prompt为LLM提供上下文信息的能力,以判断其是否能够满足企业级文档类型知识库的问答处理...

使用 NVIDIA NIM 在阿里云容器服务(ACK)中加速 LLM 推理
大语言模型(LLM)是近年来发展迅猛并且激动人心的热点话题,引入了许多新场景,满足了各行各业的需求。随着开源模型能力的不断增强,越来越多的企业开始尝试在生产环境中部署开源模型,将 AI 模型接入到现有的基础设施,优化系统延迟和吞吐量,完善监控和安全等方面。然而要在生产环境中部署这一套模型推理服务过程复杂且耗时。为了简化流程,帮助企业客户加速部署生成式 AI 模型,本文结合 **NVIDIA NI....

使用NVIDIA NIM在阿里云ACK中加速LLM推理
【阅读原文】戳:使用NVIDIA NIM在阿里云ACK中加速LLM推理 大语言模型(LLM)是近年来发展迅猛并且激动人心的热点话题,引入了许多新场景,满足了各行各业的需求。随着开源模型能力的不断增强,越来越多的企业开始尝试在生产环境中部署开源模型,将AI模型接入到现有的基础设施,优化系统延迟和吞吐量,完善监控和安全等方面。然而要在生产环境中部署这一套模型推理服务过程复杂且耗时。...

基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
LLM Chat 应用大家应该都不陌生,这类应用也逐渐称为了我们日常的得力助手,如果只是个人使用,那么目前市面上有很多方案可以快速的构建出一个LLM Chat应用,但是如果要用在企业生产级别的项目中,那对整体部署架构,使用组件的性能,健壮性,扩展性要求还是比较高的。本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。 该最佳实...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。