阿里云文档 2025-02-08

CLB快速实现IPv4服务的负载均衡

单台服务器部署应用的场景,容易因单点故障(例如服务器异常或流量超出服务器处理能力等),而降低系统整体可用性与终端用户体验。您可以使用传统型负载均衡CLB改造系统,通过CLB将流量分发到多台后端服务器,实现弹性、高可用的应用系统架构。

阿里云文档 2025-02-07

使用ASM配置集群内LLM服务负载均衡与流量管理

针对部署在Kubernetes集群中的LLM推理服务,由于LLM推理流量和工作负载的特殊性,经典的负载均衡方法效果不佳,且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义,以提升负载均衡性能,并实现推理流量的路由和可观测性。

高性能

高可用及共享存储 Web 服务

随着业务规模的增长,数据请求和并发访问量增大、静态文件高频变更,企业需要搭建一个高可用和共享存储的网站架构,以确保网站服务能够 7*24 小时运行的同时,可保障数据一致性和共享性,并降低数据重复存储的成本。
技术解决方案背景图
文章 2024-08-23 来自:开发者社区

k8s相关服务与负载均衡

k8s相关服务与负载均衡 一,服务基础 1,多容器集群,多副本会自动分配到不同的计算节点上(2副本实验) [root@master config]# vim pod-apache.yaml replicas: 2            #副本数改成2 ...

k8s相关服务与负载均衡
问答 2024-08-20 来自:开发者社区

Higress中通过dns域名发现服务这个功能,如果填写多个域名,会一比一负载均衡吗?

Higress中通过dns域名发现服务这个功能,如果填写多个域名,会一比一负载均衡吗?

文章 2024-08-13 来自:开发者社区

Dubbo服务负载均衡原理

负载均衡是rpc框架必须具备的一个能力,在Dubbo中负载均衡是在服务消费者这边实现的,也叫做客户端负载均衡。 为什么需要负载均衡机制呢? 当服务提供者集群部署的时候,服务消费方每次调用都必须选择其中一台服务提供者进行​远程rpc调用。本文将分析Dubbo​的负载均衡算法。 Dubbo 支持哪些负载均衡算法 1、加权随机(默认) 2、加权轮训 问题: 存在慢的提供者累积请求的问...

Dubbo服务负载均衡原理
文章 2024-07-15 来自:开发者社区

Service Mesh 是一种用于处理服务间通信的基础设施层,它通常与微服务架构一起使用,以提供诸如服务发现、负载均衡、熔断、监控、追踪和安全性等功能。

Service Mesh 是一种用于处理服务间通信的基础设施层,它通常与微服务架构一起使用,以提供诸如服务发现、负载均衡、熔断、监控、追踪和安全性等功能。Service Mesh 的一个流行实现是 Istio,它基于 Envoy 代理和 Kubernetes。 然而,直接编写 Python 代码来与 Service Mesh 交互并不常见&...

问答 2024-07-08 来自:开发者社区

Nacos 注册发现服务过程中的负载均衡策略配置怎么办?

Nacos 注册发现服务过程中的负载均衡策略配置?

问答 2024-06-19 来自:开发者社区

RocketMQ有5.x版本grpc客户端 和 proxy服务 负载均衡 相关的文档吗(生产、消费)

RocketMQ有5.x版本grpc客户端 和 proxy服务 负载均衡 相关的文档吗(生产、消费)?我发现现在 生产者发送消息的时候,客户端需要选择一个mq来发送消息,并将mqId带在请求头,但是在proxy这边发送消息时,又没用到客户端传过来的mqId...不太理解 既然服务端不会往客户端选择的mq发消息 那为什么客户端还要去选择一个mq呢,这是客户端测send的源码:

问答 2024-06-02 来自:开发者社区

容器服务同一个ASK集群中两个服务可以用同一个CLB吗

容器服务同一个ASK集群中两个服务可以用同一个CLB吗

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

飞天洛神云网络

阿里云飞天洛神云网络

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等