分布式大模型训练的性能建模与调优
由阿里云智能集团弹性计算高级技术专家林立翔先生分享分布式大模型训练的性能建模与调优。 大模型分布训练的性能建模与优化主要分为四类。首先大模型对AI基础设施的性能挑战，帮助感受性能建模在AI的大模型训练中的重要性。第二部分大模型训练的性能分析和建模，如何去做大模型的分析和建模，反哺客户具体的实践工作，第三部分基于大模型建模分析的性能优化介绍工作的意义与价值。第四部分宣传阿里云的整个AI技术...
105分布式电商项目 - JVM调优（典型配置）
$JAVA_ARGS .= " -Dresin.home=$SERVER_ROOT -server -Xms6000M -Xmx6000M -Xmn500M -XX:PermSize=500M -XX:MaxPermSize=500M -XX:SurvivorRatio=65536 -XX:MaxTenuringThreshold=0 -Xnoclassgc -XX:+Dis...
104分布式电商项目 - JVM调优（性能问题）
性能症状XX省一个正式上线运行的系统，每运行一段时间后程序进程会莫名其妙地被kill掉，不得不手工启动系统。监控结果jmap命令查看堆内存分配和使用情况/jmap -heap 31 //31为程序的进程号 Attaching to process ID 31, please wait... Debugger attached successfully. Server compiler de...
103分布式电商项目 - JVM调优（实战篇）
测试目的测试被测系统使用不同的垃圾回收方案时的性能表现；了解各种JVM参数在性能调优时的实际效果；对遴选出的最优方案进行8小时压力测试并记录测试结果；测试环境准备被测程序的运行的软硬件环境：D630 4G内存＋T7250双核CPU＋160G硬盘；操作系统：windowsXP SP3；IP：11.55.15.51；被测程序名称：XXX银行采购管理系统V1.1版；程序部署环境：Tomcat6.0.1....
102分布式电商项目 - JVM调优（理论篇）
多功能养鱼塘－JVM内存大鱼塘O（可分配内存）： JVM可以调度使用的总的内存数，这个数量受操作系统进程寻址范围、系统虚拟内存总数、系统物理内存总数、其他系统运行所占用的内存资源等因素的制约。小池塘A（堆内存）： JVM运行时数据区域，它为类实例和数组分配的内存。堆可以是固定大小的也可以是可变大小的。其中 Heap = {Old + NEW = { Eden , from, to } }。小池塘....
101分布式电商项目 - Tomcat性能优化（JVM调优）
适当调整Tomcat的运行JVM参数可以提升整体性能。Java栈Java栈是与每一个线程关联的，JVM在创建每一个线程的时候，会分配一定的栈空间给线程。它主要用来存储线程执行过程中的局部变量，方法的返回值，以及方法调用上下文。栈空间随着线程的终止而释放。Java堆Java中堆是由所有的线程共享的一块内存区域，堆用来保存各种JAVA对象，比如数组，线程对象等。Java堆的分区JVM堆一般又可以分为....
Dubbo第二讲：深入理解dubbo分布式服务框架/负载/容错/调优/高可用/dubbo网关/面试/技术选型
1、dubbo：分布式服务框架什么是dubbo？高性能和透明化的RPC远程服务调用方案（SOA服务治理方案，通过注册中心解决服务发现问题，通过hessian2序列化解决协议约定问题，通过Netty来实现网络传输）能做什么：（让多机器中的进程相互通信）Dubbo实现服务调用是通过RPC的方式，即客户端和服务端共用一个接口(将接口打成一个jar包，在客户端和服务端引入这个jar包)，客户端面向接口写....
Ceph分布式存储性能调优（六）（下）
三、调优最佳实践1、MON建议Ceph 集群的部署必须要正确规划， MON 性能对集群总体性能至关重要。 MON 通常应位于专用节点上。为确保正确仲裁，MON 的数量应当为奇数。2、OSD建议每一 个 Ceph OSD 都具有日志。 OSD 的日志和数据可能会放置于同一存储设备上。当写操作提交至 PG 中所有 OSD 的日志后，标志写操作已经完成。因此，更快的日志性能可以改进响应时间。在典型的部....
Ceph分布式存储性能调优（六）（上）
Ceph分布式存储性能调优一、系统配置调优1、设置磁盘的预读缓存echo "8192" > /sys/block/sda/queue/read_ahead_kb2、设置系统的进程数量echo 4194303 > /proc/sys/kernel/pid_max3、调整CPU性能注意： 虚拟机和部分硬件 CPU 可能不支持调整。1 ） 确保安装了内核调整工具：yum -y instal....
【阿里云 MVP 月度分享】DRDS分布式数据库的CRUD调优指南
优化的核心原则 由于 DRDS 是一个分布式关系数据库服务，处理的是分布式关系运算。分布式无疑会带来额外的跨库网络开销，而大家都知道，网络通信的延迟比单机内通信的延迟大得多。因此分布式环境中优化更应侧重考虑： 减少网络传输； 减少 DRDS 计算量，尽量将计算下推到下层的数据节点上，让计算在数据所在的机器上执行； 充分发挥下层存储的全部能力。 数据库表创建优化 数据库表的创建优化是最基本的数...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云分布式应用服务
企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是应用全生命周期管理和监控的一站式PaaS平台，支持部署于 Kubernetes/ECS，无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ，Java支持Spring Cloud、Apache Dubbo近五年所有版本，多语言应用一键开启Service Mesh。
+关注