文章 2025-04-23 来自:开发者社区

CLIMB自举框架:基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用

尽管优化预训练数据混合对大型语言模型(LLM)的性能有显著影响,但确定最优数据配比仍然是一个亟待解决的挑战。为应对这一问题,英伟达提出了一种名为CLIMB(CLustering-based Iterative data Mixture Bootstrapping)的自动化框架,该框架能够在预训练环境中系统地发现、评估并优化数据混合策略。CLIMB通过在语义空间中嵌入并聚类大规模数据集,并结合小型....

CLIMB自举框架:基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用
文章 2025-02-20 来自:开发者社区

Agentic Reasoning:推理界RAG诞生!牛津大学框架让LLM学会『组队打怪』:动态调用搜索/代码代理,复杂任务准确率飙升50%

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 ⚙️ “LLM推理进入模块化时代!深度解读牛津大学Agentic Reasoning框架设计哲学” 大家好,我是...

Agentic Reasoning:推理界RAG诞生!牛津大学框架让LLM学会『组队打怪』:动态调用搜索/代码代理,复杂任务准确率飙升50%
文章 2024-07-05 来自:开发者社区

AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望

AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望 1. AI Agent(LLM Agent)介绍 1.1. 术语 Agent:“代理” 通常是指有意行动的表现。在哲学领域,Agent 可以是人、动物,甚至是具有自主性的概念或实体。 AI Agent:AI Agent(人工智能代理)是一种能够感知环境、进行决策和执行动作的智能实体...

AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望
文章 2023-05-18 来自:开发者社区

无需人工标注,自生成指令框架打破ChatGPT等LLM的成本瓶颈

当前,大型语言模型的性能已经达到了很高的水平,除了进一步挖掘其潜力,我们还应该关注到模型背后的人工标注成本。ChatGPT 是今年年底 AI 圈的新晋顶流,人们惊叹于它强大的问答语言能力和掌握的编程知识。但越是强大的模型,其背后的技术要求也就越高。ChatGPT 是在 GPT 3.5 系列模型的基础上,引入「人工标注数据 + 强化学习」(RLHF)来不断微调预训练语言模型,旨在让大型语言模型(L....

无需人工标注,自生成指令框架打破ChatGPT等LLM的成本瓶颈

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"kvstore","productCardInfo":{"productTitle":"Tair KVCache","productDescription":"阿里云数据库 Tair KVCache 为 LLM 推理提供分布式动态分级缓存服务,通过软硬协同设计实现智能路由和缓存资源的最优管理,优化 GPU 服务器资源利用率的同时提升 LLM 推理的速度和吞吐性能,实现降本增效。","productContentLink":"https://www.aliyun.com/product/kvcache","isDisplayProductIcon":true,"productButton1":{"productButtonText":"了解详情","productButtonLink":"https://www.aliyun.com/product/kvcache"},"productButton2":{"productButtonText":"立即咨询","productButtonLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.1.66a55ac316TezL"},"productButton3":{"productButtonText":"","productButtonLink":""},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"最新活动","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"邀请试用","productPromotionInfoSecondLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.3.66a55ac316TezL"},{"$id":"1","productPromotionGroupingTitle":"快速入门","productPromotionInfoFirstText":"Tair KVCache 产品介绍","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/redis/product-overview/tair-kvcache?spm=5176.30063692.J_zhz1C6uKKPBvN1fur6xih.1.b87b5ac3Iu5Wen#ef4997358dmto","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"2","productPromotionGroupingTitle":"产品动态","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"Tair KVCache 推理缓存解决方案","productPromotionInfoSecondLink":"https://developer.aliyun.com/article/1658082"},{"$id":"3","productPromotionGroupingTitle":"产品推荐","productPromotionInfoFirstText":"云数据库 Tair(兼容 Redis®*)","productPromotionInfoFirstLink":"https://www.aliyun.com/product/tair","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}