云原生API网关AI诊断
在您使用云原生API网关的过程中,如果遇到404、503等HTTP错误码,可以通过云原生API网关的问题排查工具进行自助排查。本文将介绍如何使用网关的AI诊断工具。
【产品变更】关于云原生AI套件AI控制台转为白名单开放的公告
阿里云提供的云原生AI套件的AI控制台(包括开发控制台、运维控制台)于2025年01月22日起以白名单功能的形式开放。如果您已部署开发控制台或运维控制台,您的使用将不会受到影响。AI控制台组件已在社区开源,您也可以通过开源社区下载安装。更多信息,请参见开源AI控制台。如果您在使用阿里云提供的AI控制...
云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理(2)
04 性能对比此时,我们的 OSS 上已经有两份 bloom-7b1 checkpoint,一份是 bloom-7b 文件夹存储了 huggingface 原生的 checkpoint,另一份是 bloom-7b-ft-fp16 文件夹存储了转换后的 FasterTransformer 的 checkpoint。我们将使用这两份 checkpoint 进行性能对比,看一下来 FasterTran....
云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理(1)
01 背景OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4,它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时,基于大语言模型的应用也如雨后春笋般出现,为我们带来了协同办公、客服对话、语言翻译、内容生成等方面前所未有的畅快体验。然而,当我们享受着大语言模型带来的普惠 AI 能力时,它也给开发者们带来了前所未....

《云原生 AI 工程化实践训练营-先锋系列》开营啦!
如果您对于使用容器 Kubernetes 技术运行 AI 业务感兴趣;如果您好奇容器 Kubernetes 技术如何支撑大模型的训练和推理;如果您希望尝试基于容器 Kubernetes 快速定制化构建企业自己的 AI 工程化平台,以备企业新业务形态之需;那么,您就是「云原生AI工程化实践训练营」的理想学员!本期训练营是「云原生 AI 工程化实践训练营」三部曲的第二部,将带您学习使用 ACK 云原....

火热开营丨快来报名云原生 AI 工程化实践训练营-探索系列
如果您对于使用容器 Kubernetes 技术运行 AI 业务感兴趣;如果您好奇容器 Kubernetes 技术如何支撑 AIGC 大模型应用;如果您希望尝试基于容器 Kubernetes 平台搭建大语言模型和生成式模型,以备企业新业务形态之需;那么,您就是「云原生 AI 工程化实践训练营」的理想学员!本期训练营是「云原生 AI 工程化实践训练营」三部曲的第一部,将带您学习使用容器 K8s 技术....

云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理
作者:颜廷帅(瀚廷)01 背景OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4,它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时,基于大语言模型的应用也如雨后春笋般出现,为我们带来了协同办公、客服对话、语言翻译、内容生成等方面前所未有的畅快体验。然而,当我们享受着大语言模型带来的普惠 AI 能力时,它也给....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
人工智能平台PAI
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。
+关注