文章 2025-03-18 来自:开发者社区

ACK Gateway with AI Extension:大模型推理的模型灰度实践

【阅读原文】戳:ACK Gateway with AI Extension:大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资源(CRD),可以灵活定义推理服务的...

ACK Gateway with AI Extension:大模型推理的模型灰度实践
文章 2025-03-17 来自:开发者社区

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳:ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践 在当今大语言模型(LLM)推理场景中,Kubernetes已经成为LLM推理服务部署不可获取的基础设施,但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性,传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践
文章 2025-02-24 来自:开发者社区

️Spring Boot 3 整合 Spring Cloud Gateway 工程实践

引子 当前微服务架构已成为中大型系统的标配,但在享受拆分带来的敏捷性时,流量治理与安全管控的复杂度也呈指数级上升。因此,我们需要构建微服务网关来为系统“保驾护航”。本文将会通过一个项目(核心模块包含 鉴权服务、文件服务、主服务 共 3 个微服务),采用 Spring Cloud Alibaba 2023.0.0....

️Spring Boot 3 整合 Spring Cloud Gateway 工程实践
文章 2024-06-30 来自:开发者社区

Spring Cloud Gateway的高级配置与实践

Spring Cloud Gateway的高级配置与实践 今天我们将深入探讨Spring Cloud Gateway的高级配置与实践,这是一个在微服务架构中用于构建API网关的强大工具。 介绍Spring Cloud Gateway Spring Cloud Gateway是Spring Cloud生态系统中的一个全新项目,它基于Spring Framework 5&...

文章 2024-03-07 来自:开发者社区

【云原生】Spring Cloud Gateway的底层原理与实践方法探究

引言 介绍API网关和其在云原生应用中的重要性 在云原生应用中,API网关是一个关键的组件,用于提供统一的入口点和访问控制,以便对后端微服务进行路由、负载均衡、安全认证等操作。API网关充当了客户端和后端服务之间的门户,简化了客户端与服务之间的通信,并提供了一些重要的功能和特性,如请...

文章 2023-06-25 来自:开发者社区

时速云使用 Higress 替换 Ngnix Ingress + Spring Cloud Gateway 的生产实践

作者:王金山 北京云思畅想科技有限公司技术部微服务架构师,负责公司 API 网关和服务网格等研发工作时速云介绍时速云成立于2014年10月,致力于通过云原生技术帮助企业实现数字化转型,拥有云原生应用平台 TCAP 和云原生数据平台 KubeData 两大核心产品体系,产品包含云原生 DevOps、容器云 PaaS、中间件服务、边缘计算、微服务治理、服务网格、API 网关等。需求背景时速云的 Pa....

时速云使用 Higress 替换 Ngnix Ingress + Spring Cloud Gateway 的生产实践
文章 2023-03-28 来自:开发者社区

Rainbond的 Gateway API 插件制作实践

Gateway API 作为新一代的流量管理标准,对原有 Ingress 的扩展不规范、移植性差等问题做出了改进。从兼容K8s生态和优化网关体验出发,Rainbond 支持以插件的形式扩展平台网关能力,目前已经有多家社区提供了 Gateway API 的实现,将其制作成平台插件后,一键部署后即可在平台中使用拓展网关能力。我们可以制作不同的网关实现插件来应对不同的场景和需求,同时可以将自己制作的插....

Rainbond的 Gateway API 插件制作实践
文章 2022-09-04 来自:开发者社区

微服务网关Gateway实践总结

有多少请求,被网关截胡;一、Gateway简介微服务架构中,网关服务通常提供动态路由,以及流量控制与请求识别等核心能力,在之前的篇幅中有说过Zuul组件的使用流程,但是当下Gateway组件是更常规的选择,下面就围绕Gateway的实践做详细分析;从架构模式上看,网关不管采用什么技术组件,都是在客户端与业务服务中间提供一层拦截与校验的能力,但是相比较Zuul来说,Gateway提供了更强大的功能....

微服务网关Gateway实践总结
文章 2020-01-19 来自:开发者社区

蚂蚁金服 API Gateway Mesh 思考与实践

本文整理自蚂蚁金服高级技术专家贾岛在 12 月 28 日 Service Mesh Meetup 杭州站现场分享。 MOSN 完成孵化, 启用独立 Group 2020.2019.12.18,MOSN 项目负责人、蚂蚁金服应用网络组负责人涵畅宣布 MOSN 完成从 SOFAStack 的孵化,将启用独立 Group 进行后续运作,欢迎大家...

蚂蚁金服 API Gateway Mesh 思考与实践
文章 2019-03-26 来自:开发者社区

spring cloud gateway实践

一、前言     gateway是spring cloud全家桶的一员,主要用作微服务的网关,是spring官方基于spring5.0,spring boot 2.0和project reactor等技术开发的网关服务,旨在为微服务提供一种简单有效的统一api路由管理方式,基于filter链的方式提供了网关的基本功能如安全、监控、埋点、限流等。     项目...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注