文章 2025-03-18 来自:开发者社区

ACK Gateway with AI Extension:大模型推理的模型灰度实践

【阅读原文】戳:ACK Gateway with AI Extension:大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资源(CRD),可以灵活定义推理服务的...

ACK Gateway with AI Extension:大模型推理的模型灰度实践
阿里云文档 2025-02-11

ACK发布Kubernetes 1.32版本说明

阿里云容器服务 Kubernetes 版严格遵循社区一致性认证。本文介绍ACK发布Kubernetes 1.32版本的主要变更说明,包括升级注意事项、重大变更、功能特性、弃用功能和API、特性门控等。

问答 2024-07-17 来自:开发者社区

MSE怎么灰度升级ACK应用agent

问题描述大佬儿们,求助。我用的是阿里云ACK的应用,怎么实现agent 灰度啊期望结果求解答已尝试的方法...

问答 2024-07-16 来自:开发者社区

请教下容器服务ACK vue 项目的前端灰度 你们是怎么做的哟? 基于lua 吗?

请教下容器服务ACK vue 项目的前端灰度 你们是怎么做的哟? 基于lua 吗?

问答 2023-11-20 来自:开发者社区

云效 kubernetes灰度发布文档写的nginxIngress 我用albIngress可以吗?

云效 kubernetes灰度发布文档写的是nginxIngress 我用albIngress可以吗?

文章 2023-10-12 来自:开发者社区

【Kubernetes的DevOps自动化,Jenkins上的Pipeline实现自动化构建、测试、部署、发布以及Bookinginfo实例的部署灰度发布故障注入流量】

步骤对于Kubernetes的DevOps自动化,Jenkins上的Pipeline可以实现自动化构建、测试、部署和发布。以下是一些步骤:在Jenkins中创建一个Pipeline项目。在Pipeline定义中,设置源代码管理和构建步骤。例如,使用Git作为代码仓库,使用Maven或Gradle进行构建。添加测试步骤,例如单元测试、集成测试和功能测试。可以使用Jenkins插件,如JUnit和C....

文章 2023-10-09 来自:开发者社区

k8s七层代理Ingress-nginx基于cookie、请求头、权重实现灰度发布

场景一: 将新版本灰度给部分用户假设线上运行了一套对外提供 7 层服务的 Service A 服务,后来开发了个新版本 Service A’ 想要上线,但又不想直接替换掉原来的 Service A,希望先灰度一小部分用户,等运行一段时间足够稳定了再逐渐全量上线新版本,最后平滑下线旧版本。这个时候就可以利用 Nginx Ingress 基于 Header 或 Cookie 进行流量切分的策略来发布....

k8s七层代理Ingress-nginx基于cookie、请求头、权重实现灰度发布
文章 2023-09-15 来自:开发者社区

基于MSE实现K8s集群内多服务的灰度发布

基于MSE实现K8s集群内多服务的灰度发布1. 创建资源1、在体验实验室页面左侧,单击创建资源,创建所需资源(本场景默认会提供一个ACK集群)。2、在页面左侧导航栏中,单击云产品资源列表,查看本次实验资源相关信息。说明 :资源创建过程需要10分钟左右(需要创建一个K8s集群,感谢您的耐心等待~)。完成实验资源的创建后,您可以在云产品资源列表查看已创建的资源信息,例如:K8s集群ID、IP地址、用....

基于MSE实现K8s集群内多服务的灰度发布
问答 2023-08-29 来自:开发者社区

云效ACK Nginx Ingress 灰度发布步骤的weight在运行中是无法调整的吗?

云效ACK Nginx Ingress 灰度发布步骤的weight在运行中是无法调整的吗?

问答 2023-08-01 来自:开发者社区

OpenKruise灰度版本的流量选择交给注册中心比如nacos来处理了吗?不能选择k8s labe

OpenKruise灰度版本的流量选择交给注册中心比如nacos来处理了吗?不能选择k8s label吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等