文章 2024-12-31 来自:开发者社区

FastGPT 基于Higress 聚合 LLM 网关的最佳实践

一、幻觉 本次分享Fast GPT的产品形态,以及设计的理念。首先介绍整个项目的背景,大模型的优势在于知识面广,泛化能力强,甚至可以理解一些复杂的问题。但是目前模型的架构,本质上基于概率进行推测,所以无法保证百分百的稳定,即它输出的结果不是很稳定,在使用大模型的时候,发现大模型经常会说的有理有据,甚至在处理一些数学的推理问题的时候,已经给出正确的推理逻辑,但是并没有给出一个正确的结果,这...

问答 2024-08-28 来自:开发者社区

Higress如何实现高集成网关?

Higress如何实现高集成网关?

问答 2024-08-28 来自:开发者社区

Higress作为云原生网关,它的主要特点有哪些?

Higress作为云原生网关,它的主要特点有哪些?

问答 2024-08-26 来自:开发者社区

在Higress中,现在网关推荐在生产环境k8s集群上部署的是1.4.2版本吗?

在Higress中,现在网关推荐在生产环境k8s集群上部署的是1.4.2版本吗?

问答 2024-08-26 来自:开发者社区

在Higress中,现在网关推荐部署生产环境的的是那个版本?

在Higress中,现在网关推荐部署生产环境的的是那个版本?

问答 2024-08-20 来自:开发者社区

在Higress中,有办法传到MSE 网关的监控面板上,用来监控插件的状态么 ?

在Higress中,用 golang 去开发插件, 如果调用golang 的运行时的状态统计,比如 runtime.ReadMemStats() 获取Alloc、PauseTotalNs 作为GC、runTime.NumGoroutine() ,那有办法传到MSE 网关的监控面板上,用来监控插件的状态么 ?

文章 2024-08-16 来自:开发者社区

用 Higress AI 网关降低 AI 调用成本 - 阿里云天池云原生编程挑战赛参赛攻略

1. 背景 我们要在 Higress 网关中编写 WebAssembly(wasm)插件,使得在 http 请求的各个阶段(requestHeader,requestBody,responseHeader,responseBody)能够将相应的请求或返回捕获进行业务逻辑的处理。具体到本比赛,主要需要实现的是缓存对大模型的请求(openai 接口的形式)在本地(或云数据库),并设...

用 Higress AI 网关降低 AI 调用成本 - 阿里云天池云原生编程挑战赛参赛攻略
阿里云文档 2024-08-13

Higress Ingress高级用法

在Kubernetes集群中,Higress Ingress对集群服务(Service)中的外部可访问的API对象进行管理,提供七层负载均衡能力。本文介绍Higress Ingress的高级用法,方便您对集群入口流量进行治理。

阿里云文档 2024-08-13

Nginx Ingress、Higress Ingress网关对比

Nginx Ingress 和 Higress Ingress的功能特性和应用场景等均有所不同。本文通过产品定位、产品架构、性能、基础路由等几个维度的对比,帮助您快速了解两者之间的差异以便您选择合适的Ingress网关。

阿里云文档 2024-08-13

Higress Ingress支持哪些Annotation

Higress Ingress已支持Nginx Ingress核心和常用的Annotation,方便您从Nginx Ingress无缝迁移至Higress Ingress网关。此外,针对Nginx Ingress Annotation未支持的流量治理配置,Higress Ingress推出额外的Annotation来弥补Nginx Ingress的不足。本文介绍目前Higress Ingress支...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐