LLM最大能力密度100天翻一倍！清华刘知远团队提出Densing Law
在人工智能领域，大型语言模型（LLMs）的崛起标志着一个重要的里程碑。这些模型在各种任务中展现出了卓越的性能，其能力随着模型规模的增长而提升。然而，这种规模化也带来了巨大的挑战，特别是在训练和推理效率方面，尤其是在资源受限的环境中部署LLMs时。 随着LLMs的发展，模型的规模不断扩大...
LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理
近日，来自卡耐基梅隆大学（CMU）的 Catalyst Group 团队发布了一款「投机式推理」引擎 SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
