基于Knative部署vLLM推理应用
传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...
使用数据盘快照加速大模型应用启动
ACK节点池支持为新增节点配置数据盘,并使用预先存在的数据盘快照进行初始化。该快照可以包含所有必要的缓存数据,如预下载的容器镜像、预训练的大规模机器学习模型、系统所需镜像及其他关键的静态资源。每当有新节点加入节点池时,它将自动从快照中恢复这些缓存数据,大幅缩短首次运行数据加载时间。本文通过两个场景展示如何利用数据盘快照加速工作负载和节点初始化的部署速度。
在Knative中配置存活探针(Liveness Probe)和就绪探针(Readiness Probe)以管理应用健康状态
在云原生应用、微服务架构或者容器化应用中,您可以配置存活探针(Liveness Probe)和就绪探针(Readiness Probe)以确保应用程序处于健康状态且已准备好接收流量。相较于Kubernetes社区的探针策略,Knative的策略更为频繁,以最大限度缩短冷启动时间,加速Pod从启动到运行的过程。
通过自定义方案采集应用日志
部署在容器计算服务 ACS(Container Compute Service)的应用除了使用阿里云日志服务(SLS)采集日志之外,还可以构建自己的日志采集系统,比如:EFK(ElasticSearch,FileBeat,Kibana)。由于ACS不支持部署DaemonSet组件,因此日志采集Agent FileBeat需要使用Sidecar的形态进行日志采集,本文主要介绍如何在ACS上部署自定义...
Java应用启动加速的JVM参数配置
通过配置通用Java Virtual Machine(JVM)的垃圾回收机制(Garbage Collection Mechanism)和Just-In-Time(JIT)参数,能够更好地在Java应用启动过程中使用ACS的柔性变配能力。本文介绍和Java应用启动加速相关的ParallelGCThreads、ConcGCThreads和CICompilerCount三个JVM参数的推荐配置方法。
解决方案评测|容器化管理云上应用获奖名单
【最优奖获奖名单】 评选标准:文章被官方评定为最佳 活动奖励:skg颈椎按摩仪 + 优质评测证书 + 社区首页展示1周 获奖链接 博主昵称 ...
容器化管理云上应用解决方案评测
容器化管理云上应用解决方案评测 此方案内容是否提供了足够的技术细节,确保能够理解方案的深层原理和实施方法? 方案全面介绍了云应用容器化的管理流程,包括Kubernetes的基础概念、容器镜像的构建推送、ALB配置等关键环节,并通过具体的命令和操作步骤帮助用户更好地理解。 在体验过程中是否得到足够的引导以及文档帮助?如果没有,还欠缺什么部分? 在使用过程中,引导和文档在一定程度上可以满...
容器化管理云上应用解决方案评测
容器化管理云上应用解决方案评测 此方案内容是否提供了足够的技术细节,确保能够理解方案的深层原理和实施方法? 方案深入解析了核心关键技术,聚焦于灵活调度机制下的资源配置与任务分配算法,依据业务需求和资源状态优化任务规划与部署。 同时全面介绍了云应用容器化的管理流程,包括Kubernetes的基础概念、容器镜像的构建推送、ALB配置等关键环节,并通过具体的命令和操作步骤帮助用户更好地理解P...
基于阿里云容器服务Kubernetes版(ACK)| 容器化管理云上应用
基于阿里云容器服务Kubernetes版(ACK)| 容器化管理云上应用 在现行的大环境下,企业上云容器化应用托管已经逐渐成为主流,其中以能够自动部署、扩展、管理容器化应用以及能实现应用的快速上线与灵活调度的Kubernetes为首选方案。那么如何高效、快速地在ACK上编排与部署应用,阿里云官方提供了详细的部署方案,下面我就带大家来详细体验。 在部署开始之前,先来了解一下企业上云...
容器化管理云上应用解决方案评测
在企业上云的过程中,容器化应用托管已经逐渐成为主流,其中以能够自动部署、扩展、管理容器化应用以及能实现应用的快速上线与灵活调度的Kubernetes为首选方案。阿里云容器服务Kubernetes版(ACK)以其强大的容器编排能力、丰富的生态集成和高度的可扩展性,让企业轻松高效地在云端运行Kubernetes容器化应用。本方案介绍如何高效、快速地在ACK上编排与部署应用。 详细体...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
容器更多应用相关
容器服务
国内唯一 Forrester 公共云容器平台领导者象限。
+关注