阿里云文档 2025-04-01

通过会话日志进行流量溯源帮助企业快速定位和排查故障

如需在业务故障发生后迅速定位故障原因并解决问题,建议您提前开启会话日志功能,以便随时查看日志内容,协助故障定位。

阿里云文档 2025-03-24

为云原生API网关配置内网DNS server

为服务配置DNS服务器可以实现高效、安全的内部域名解析,确保内部服务的访问稳定性和可靠性。通过合理配置DNS服务器,可以实现对内部服务域名的集中管理,避免因外部DNS故障或网络波动导致的服务不可用问题。

阿里云文档 2025-03-21

内容安全防护

AI 网关能够保护和大模型交互时的数据安全,一方面对输入到外部模型的数据进行隐私保护,另一方面对输出给用户的数据进行内容过滤。

阿里云文档 2025-03-21

缓存

在重复性强的 AI 请求场景,通过将大语言模型(LLM)生成的响应结果缓存到 Redis 数据库中,避免重复调用大语言模型,提升响应速度。本文将为您介绍缓存策略的功能优势,以及开启步骤。

阿里云文档 2025-03-21

限流

API限流策略专为大模型服务及高并发调用场景设计,采用基于调用Token量的动态控制机制,取代传统请求数或请求体积的限流方式。该策略可针对消费者身份、请求Header参数、Query参数、客户端IP等多维度配置限流规则,根据单次API调用消耗的Token总量进行实时计费和流量管控。这种以Token消耗为核心的限流模式能精准匹配大模型计算资源消耗特性,有效防止系统过载、接口滥用及恶意调用,同时保障核...

文章 2024-04-25 来自:开发者社区

SpringCloud&Gateway网关限流

网关除了请求路由、身份验证,还有一个非常重要的作用:请求限流。当系统面对高并发请求时,为了减少对业务处理服务的压力,需要在网关中对请求限流,按照一定的速率放行请求。 常见的限流算法包括: 计数器算法 漏桶算法 令牌桶算法 算法介绍: https://blog.csdn.net/u012441595/articl...

SpringCloud&Gateway网关限流
文章 2023-08-11 来自:开发者社区

Spring Cloud Alibaba 实操 (十四) Sentinel对Gateway网关进行限流

前言 服务网关在微服务架构中充当了请求访问入口的角色,是非常重要的一个部分,在高并发的系统中我们通常会在网关层通过流控降级等手段把多余的请求拒绝在外来防止微服务被高并发请求打垮,在之前我们有讨论过《服务网关Spring Cloud Gateway》和 《Sentinel流控》,一个是服务网关,一个是流控降级,本篇文章要讨论的是如何使用Sentinel对Gateway进行流控 <hr s...

Spring Cloud Alibaba 实操 (十四) Sentinel对Gateway网关进行限流
文章 2023-07-29 来自:开发者社区

十四.SpringCloudAlibaba极简入门-Sentinel对Gateway网关进行限流

前言 服务网关在微服务架构中充当了请求访问入口的角色,是非常重要的一个部分,在高并发的系统中我们通常会在网关层通过流控降级等手段把多余的请求拒绝在外来防止微服务被高并发请求打垮,在之前我们有讨论过《服务网关Spring Cloud Gateway》和 《Sentinel流控》,一个是服务网关,一个是流控降级,本篇文章要讨论的是如何使用Sentinel对Gateway进行流控 <hr s...

十四.SpringCloudAlibaba极简入门-Sentinel对Gateway网关进行限流
文章 2023-04-25 来自:开发者社区

Spring Cloud Gateway 整合阿里 Sentinel网关限流实战!

前一篇文章介绍了Spring Cloud Gateway的一些基础知识点,今天陈某就来唠一唠网关层面如何做限流?文章目录如下:网关如何限流?Spring Cloud Gateway本身自带的限流实现,过滤器是RequestRateLimiterGatewayFilterFactory,不过这种上不了台面的就不再介绍了,有兴趣的可以实现下。今天的重点是集成阿里的Sentinel实现网关限流,sen....

Spring Cloud Gateway 整合阿里 Sentinel网关限流实战!
文章 2022-12-05 来自:开发者社区

spring cloud gateway网关限流

前提redis可用JMeterspring cloud gateway网关限流限流简介限流就是限制流量,因为服务器能处理的请求数有限,如果请求量特别大,我们需要做限流(要么就让请求等待,要么就把请求给扔了), 限流可以保障我们的 API 服务对所有用户的可用性,也可以防止网络攻击。在高并发的应用中,限流是一个绕不开的话题。 注1:为什么要限流?见:images/00 常见的限流手段一般开发高并.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等