文章 2025-02-28 来自:开发者社区

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南

DeepSeek凭借其出色的推理表现在春节期间火爆全网,本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。 背景介绍 1. DeepSeek R1模型 DeepSeek-R1[1]模型是DeepSeek推出的第一代推理模型,旨在通过大规模强化学习提升大语言模型的推理能力。实验结果表明,Deep...

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
文章 2025-02-08 来自:开发者社区

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南

【阅读原文】戳:企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南 DeepSeek凭借其出色的推理表现在春节期间火爆全网,本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。       背景介绍   ...

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
文章 2024-11-20 来自:开发者社区

深入解析Kubernetes及其在生产环境中的最佳实践

在当今云计算和容器化技术飞速发展的时代,Kubernetes(简称K8s)已成为编排和管理容器化应用的首选平台。Kubernetes提供了强大的自动化部署、扩展和管理能力,使得开发者能够高效地运行、扩展和维护复杂的应用。本文将深入探讨Kubernetes的核心概念、架构、关键组件以及在生产环境中实施Kubernetes的最佳实践。 一、Ku...

文章 2024-08-19 来自:开发者社区

在k8S中,生产环境的pv回收策略该如何选择?

在 Kubernetes (k8s) 中,持久卷(Persistent Volume, PV)的回收策略是一个重要的配置项,它决定了当与PV绑定的持久卷声明(Persistent Volume Claim, PVC)被删除后,集群如何处理该PV上的数据。以下是三种主要的PV回收策略及其适用场景: Retain: 选择此策略时,当PVC被删除后,P...

问答 2024-08-06 来自:开发者社区

nacos集群在k8s生产环境运行,如何对nacos进行优化,nacos版本为1.4.3?

nacos集群在k8s生产环境运行,某些java应用会出现残留实例不能自动下线,都是临时实例,如何对nacos进行优化,nacos版本为1.4.3?

问答 2024-06-18 来自:开发者社区

容器服务ACK LoadBalance、Ingress、生产环境建议用哪种?

容器服务ACK LoadBalance、Ingress、Nodeport三种方式,生产环境建议用哪种?有无替代的方法?

问答 2024-06-09 来自:开发者社区

EDAS在用k8s发布生产环境时如何不构建而直接使用测试环境已经构建好的镜像

EDAS在用k8s发布生产环境时如何不构建而直接使用测试环境已经构建好的镜像

文章 2024-04-28 来自:开发者社区

一文教会你,如何通过kubeadm,在生产环境部署K8S高可用集群(二)

一文教会你,如何通过kubeadm,在生产环境部署K8S高可用集群(一):https://developer.aliyun.com/article/1495644 Run ‘kubectl get nodes’ to see this node join the cluster. node节点加入: kubeadm join 10.10.0.10:7443 --token...

文章 2024-04-28 来自:开发者社区

一文教会你,如何通过kubeadm,在生产环境部署K8S高可用集群(一)

使用kubeadm安装K8S 我们都知道,k8s中有三位大哥:kubelet, kubeadm, kubectl. 其中: kubelet是服务,用来调用下层的container管理器,从而对底层容器进行管理。 kubectl是API,供我们调用,键入命令对k8s资源进行管理。 kubeadm是管理器,我们可以使用它进行k8s节点的管理。 今天,我...

文章 2024-04-09 来自:开发者社区

使用kubeadm搭建生产环境的多master节点k8s高可用集群

k8s 实验环境网络规划: podSubnet(pod 网段) 10.244.0.0/16 serviceSubnet(service 网段): 10.96.0.0/12 物理机网段:192.168.1.0/24 K8s 主机配置: 操作系统:centos7.9 配置: 4Gib 内存/4vCPU/60G 硬盘 网络:机器相互可以通信 ...

使用kubeadm搭建生产环境的多master节点k8s高可用集群

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像