MindIE LLM场景快速上手实验
MindIE是昇腾自研推理框架，本实验手册可指导小白用户快速掌握MindIE在LLM（large language model）场景的基本功能，包括：大模型推理功能测试、大模型性能测试、大模型精度测试、服务化推理部署、benchmark测试等。 1 实验准备 1.1 软硬件环境 本实验使用的设备是800I A2服务器，已经参考官网文档（安装驱动和固件-MindIE安装指南...
基于Knative的LLM推理场景弹性伸缩方案
【阅读原文】戳：基于Knative的LLM推理场景弹性伸缩方案 1. 背景 在人工智能商业化的时代，模型推理比训练会被更加广泛地使用，这是因为技术商业化的本质在于其广泛应用的价值。可以预见，模型推理将成为未来的主要战场。这一点已经从现实中得到了印证——微软已经在Azure...
TransferTOD：利用LLM解决TOD系统在域外场景槽位难以泛化的问题
任务型对话系统旨在高效处理任务导向的对话，如何利用任务型对话系统准确、高效、合理地完成信息采集的工作一直是一项关键且具有挑战性的任务。目前的槽位填充数据集大多服务于用户主导型系统，往往会局限于预设好的特定场景和特定槽位。而在“客服-用户”信息收集这一系统主导型的对话场景中，需要填充的槽位与槽位值往往是陌生的，填槽的准确率会严重下降，系统也无法根据槽位填充的情况提出准确的问题引导用户回答，完成下一....
深度解析CPFS 在 LLM 场景下的高性能存储技术
话题将深入探讨 CPFS 端到端性能优化策略，重点关注计算端缓存加速、智能网卡加速、数据并行访问及数据流优化，旨在构建高吞吐、低延迟的存储系统，为 LLM 训练提供强大支持。通过详细案例分析，我们将展示 CPFS 如何在 LLM 训练中发挥关键作用，不仅大幅提升存储性能，还能有效提高 GPU 利用率，从而加速大模型训练进程。 分享文件存储CPS，在 LLM 场景下的一些高性能存...
使用阿里云ECS DeepGPU后，LLM微调训练场景和Stable Diffusion推理场景的性
使用阿里云ECS DeepGPU后，LLM微调训练场景和Stable Diffusion推理场景的性能有何提升？
【AI 生成式】大语言模型（LLM）有哪些典型的应用场景？
大语言模型（LLM）的典型应用场景 大语言模型（LLM）具有广泛的应用场景，其强大的语言理解和生成能力使其在各个领域都有所应用。下面我们将对LLM的典型应用场景进行详细分析。 自然语言生成 LLM可以用于自然语言生成任务，如文本生成、文章摘要、对话生成等。通过在预训练阶段学习大规模文本数据的语言模式和规律，LLM能够生成具有语法正确性和语义连贯性的文本。在对话生成方面，LLM可以用于生成对...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
