阿里云文档 2025-02-07

使用ASM配置集群内LLM服务负载均衡与流量管理

针对部署在Kubernetes集群中的LLM推理服务,由于LLM推理流量和工作负载的特殊性,经典的负载均衡方法效果不佳,且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义,以提升负载均衡性能,并实现推理流量的路由和可观测性。

阿里云文档 2025-01-14

ACS集群支持通过哪些Annotation配置网络型负载均衡NLB

您可以通过YAML配置中的Annotation(注解)实现丰富的负载均衡功能。网络型负载均衡NLB(Network Load Balancer)是阿里云推出的新一代四层负载均衡,支持超高性能和自动弹性能力。本文从NLB、监听和服务器组三种资源维度介绍通过Annotation可以对NLB进行的常见配置...

阿里云文档 2024-11-25

ALB配置安全组实现黑白名单访问策略

安全组是一种虚拟防火墙,通过其规则控制应用型负载均衡ALB实例出/入方向流量。如果您需要拒绝或允许特定IP访问ALB实例,可以使用ALB安全组功能来实现流量访问控制。通过配置ALB安全组,您可以创建黑白名单的访问策略,以便对流量进行更精确的控制。

阿里云文档 2024-11-25

ALB配置安全组实现基于监听/端口粒度的访问控制

为了提高云上流量入口安全性,如果您需要对ALB进行基于协议/端口/IP的访问控制,可以通过为ALB实例配置安全组来实现。相较于ACL,ALB通过安全组能实现更全面的访问控制,不仅能配置基于协议/端口的访问控制,而且支持IPv6地址类型的访问控制策略。

阿里云文档 2024-11-04

配置和管理健康检查

您可以在配置服务器组时开启健康检查功能来判断后端服务器的可用性,您也可以根据业务需求修改后端服务器组的健康检查配置。本文介绍如何配置和管理健康检查的相关步骤。

问答 2022-11-02 来自:开发者社区

SLB 的配置流程是怎样的?

SLB 的配置流程是怎样的?

问答 2022-11-02 来自:开发者社区

SLB 的配置流程是什么?

SLB 的配置流程是什么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

飞天洛神云网络

阿里云飞天洛神云网络

+关注