阿里云文档 2025-06-04

通过Gateway with Inference Extension访问服务

Gateway API是Kubernetes官方项目,是下一代Kubernetes路由和负载均衡API,支持通过Gateway API配置流量规则。本文介绍Gateway with Inference Extension支持的一些Gateway API基础能力配置方法。

阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化,进一步减少了推理阶段的显存占用,从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-03-19

使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务

为解决DeepSeek推理服务对GPU规格需求越来越高的问题,您可以通过ACK Edge集群管理本地IDC的GPU机器,并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行,当本地IDC GPU资源不足时,任务将自动调度至云上的ACS Serverless GPU,满足业务扩展需求的同时降低成本。

阿里云文档 2025-02-19

ACK One注册集群使用ACS GPU算力构建DeepSeek蒸馏模型推理服务

DeepSeek是一款基于深度学习的智能推理模型,因其在自然语言处理和图像识别等领域的卓越表现而迅速受到了广泛关注。无论是企业级应用还是学术研究,DeepSeek都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。为应对这一挑战,阿里云推出了ACK One注册集群为企业提供灵活、高效的解决方案。通过将本地数据中心的Kubernetes集群接入ACK One注册集群...

阿里云文档 2025-02-13

在Knative服务中基于Fluid加速大模型推理服务Pod启动

Fluid是一个开源的、Kubernetes原生的分布式数据集编排和加速引擎,主要应用于云原生场景下的数据密集型应用,例如大数据应用、AI应用等。本文介绍如何在Knative中基于Fluid加速模型推理服务Pod的启动,以提升应用响应效率。

文章 2024-08-14 来自:开发者社区

Kubernetes(K8S) 配置静态资源服务

Kubernetes(K8S) 配置静态资源服务 --- apiVersion: v1 kind: ConfigMap metadata: name: img-config namespace: vipsoft data: img.conf: | server { ...

文章 2023-05-17 来自:开发者社区

【云原生】Kubernetes(k8s)部署 MySQL+Dubbo+Nacos服务

一、说明本文介绍基于 Kubernetes(k8s) 环境集成阿里云 私有镜像仓库 来部署一套 Dubbo + Nacos 的微服务系统,并使用 Kubernetes DNS 以及 port-forward 的方式来打通网络访问。二、部署 MySQL创建配置文件 mysql-local.yaml 内容如下:apiVersion: v1 kind: ReplicationController me....

【云原生】Kubernetes(k8s)部署 MySQL+Dubbo+Nacos服务
文章 2023-03-13 来自:开发者社区

基于Kubernetes(k8s)部署Dubbo+Nacos服务

一、说明本文介绍基于 Kubernetes(k8s) 环境集成阿里云 私有镜像仓库 来部署一套 Dubbo + Nacos 的微服务系统,并使用 Kubernetes DNS 以及 port-forward 的方式来打通网络访问。k8s环境搭建参考文章《基于minikube快速搭建kubernetes单节点环境》 中在阿里云镜像仓库构建的镜像来进行部署。基于《基于jib-maven-plugin....

基于Kubernetes(k8s)部署Dubbo+Nacos服务
文章 2022-02-17 来自:开发者社区

如何在Kubernetes(k8s)中暴露服务访问

Kubernetes概述 最近的一年,kubernetes的发展如此闪耀,正被越来越多的公 司采纳用于生产环境的实践。同 时,我们可以在最著名的开发者问答社区StackOverflow上看到k8s的问题数量的增长曲线(2015.5-2016.5),开发者是用脚投票的,从这一点看也无疑证明了k8s的火爆程度。 Kubernetes来源于Google生产环境的实践,社区活跃度很高,在github上的....

文章 2022-02-17 来自:开发者社区

Docker 与 Kubernetes(k8s) 在企业基础设施服务的应用

大家好,本次内容我在我司上个月的PWorld大会上分享过,线下会议参与人数有限,这次 应邀在微信上向更广泛的人群分享,同时也加入了我近期的一些新想法,不仅仅是上次分享的重复。 一、新时代——即基于容器的云时代的来临。 下面出场的是容器时代的两大主角——Docker和Kubernetes,未来相当长的时间里,容器时代的种种爱恨情仇,都将在这两大主角之间展开。 先看下Docker: Docker刚刚....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注