缓存
在重复性强的 AI 请求场景，通过将大语言模型（LLM）生成的响应结果缓存到 Redis 数据库中，避免重复调用大语言模型，提升响应速度。本文将为您介绍缓存策略的功能优势，以及开启步骤。
联网搜索
联网搜索策略能够扩展大语言模型的知识范围，通过实时检索互联网数据（支持夸克和必应搜索引擎），提升生成内容的准确性与时效性。本文将为您介绍AI API 联网搜索策略的功能优势，以及开启步骤。
为云原生API网关配置内网DNS server
为服务配置DNS服务器可以实现高效、安全的内部域名解析，确保内部服务的访问稳定性和可靠性。通过合理配置DNS服务器，可以实现对内部服务域名的集中管理，避免因外部DNS故障或网络波动导致的服务不可用问题。
限流
API限流策略专为大模型服务及高并发调用场景设计，采用基于调用Token量的动态控制机制，取代传统请求数或请求体积的限流方式。该策略可针对消费者身份、请求Header参数、Query参数、客户端IP等多维度配置限流规则，根据单次API调用消耗的Token总量进行实时计费和流量管控。这种以Token消耗为核心的限流模式能精准匹配大模型计算资源消耗特性，有效防止系统过载、接口滥用及恶意调用，同时保障核...
云原生 API 网关，gRPC-Gateway V2 初探
gRPC-Gateway 简介我们都知道 gRPC 并不是万能的工具。在某些情况下，我们仍然想提供传统的 HTTP/JSON API。原因可能从保持向后兼容性到支持编程语言或 gRPC 无法很好地支持的客户端。但是仅仅为了公开 HTTP/JSON API 而编写另一个服务是一项非常耗时且乏味的任务。那么，有什么方法可以只编写一次代码，却可以同时在 gRPC 和 HTTP/JSON 中提供 API....
阿里云的API 网关（API Gateway）支持接口数据缓存么？
https://help.aliyun.com/document_detail/29464.html在产品简介中的API缓存究竟是指什么了？数据缓存是否支持是指能否替代varnish/squid这些产品了？
API 网关(API Gateway)
API 网关(API Gateway)提供高性能、高可用的 API 托管服务，帮助用户对外开放其部署在 ECS、容器服务等云产品上的应用，提供完整的 API 发布、管理、维护生命周期管理。用户只需进行简单的操作，即可快速、低成本、低风险地开放数据或服务。 背景 我们知道在微服务架构风格中，一个大应用被拆分成为了多个小的服务系统提供出来，这些小的系统他们可以自成体系，也就是说这些小系统可以....
Orange--------基于nginx/openresty之API网关(Gateway)实战
Orange 简介 Orange是一个基于OpenResty的API网关。除Nginx的基本功能外，它还可用于API监控、访问控制(鉴权、WAF)、流量筛选、访问限速、AB测试、动态分流等。它有以下特性： 提供了一套默认的Dashboard用于动态管理各种功能和配置 提供了API接口用于实现第三方服务(如个性化运维需求、第三方Dashboard等) 可根据规范编写自定义插件扩展Orange功...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
