神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决
问题一：MRACC-Spark在网络和存储方面做了哪些优化？ MRACC-Spark在网络和存储方面做了哪些优化？ 参考回答： MRACC-Spark在网络和存储方面进行了软硬件加速优化。在网络方面，使用eRDMA进行网络加速，降低了shuffle阶段的数据交换延时，提升了CPU利用率。在存储方面，结合云上架构优势，采用缓存、文件裁剪、索引等优化手段，...
带你读《弹性计算技术指导及场景应用》——2. 技术改变AI发展：RDMA能优化吗？GDR性能提升方案
简介：随着人工智能（AI）的迅速发展，越来越多的应用需要巨大的GPU计算资源。GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术，可以让使用pcie标准的gpu和第三方设备进行直接的数据交换，而不涉及CPU。背景：GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术，可以让使用pcie标准的gpu和第三....
技术改变AI发展：RDMA能优化吗？GDR性能提升方案（GPU底层技术系列二）
背景GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术，可以让使用pcie标准的gpu和第三方设备进行直接的数据交换，而不涉及CPU。传统上，当数据需要在 GPU 和另一个设备之间传输时，数据必须通过 CPU，从而导致潜在的瓶颈并增加延迟。使用 GPUDirect，网络适配器和存储驱动器可以直接读写 GPU 内存，减少不必要的内存消耗，减少 CPU....
Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制等技术简介-一文入门RDMA和RoCE有损无损
简介随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术术....
揭秘！CIPU最新秘密武器–弹性RDMA的技术解析与实践
2023年8月2日，阿里云弹性计算团队与智东西公开课联合出品的系列课程【阿里云弹性计算技术公开课】第五节正式播出，阿里云资深技术专家徐成带来了主题为《CIPU最新秘密武器——弹性RDMA的技术解析与实践》的课程分享，本期课程在阿里云官网、智东西官网、钉钉视频号、阿里云微信视频号、阿里云开发者微信视频号、阿里云创新中心直播平台&视频号等多平台同步播出。弹性RDMA（Elastic Remo....
阿里云徐成：CIPU最新秘密武器-弹性RDMA的技术解析与实践｜阿里云弹性计算技术公开课直播预告
阿里云弹性计算团队联合智东西公开课共同出品「阿里云弹性计算技术公开课」持续进行！第四节 & 第五节主讲阿里云CIPU体系架构及最新秘密武器弹性RDMA。阿里云资深技术专家杨航、徐成将参与，并将分别进行主题讲解。目前，「阿里云弹性计算技术公开课」前四讲已顺利完结，阿里云弹性计算产品专家张新涛以《大模型时代如何应对大算力挑战》为主题进行了课程分享；阿里云高级开发工程师吕倪祺以《基于神龙AI加....
关于远程直接内存访问技术 RDMA 的高性能架构设计介绍
传统以太网方案存在系统调用消耗大量时间、增加数据传输延时、对 CPU 造成很重的负担三个缺点，而 RDMA 技术可以解决以上三个缺点。那 RDMA 究竟是什么？它的方案的设计思路是什么？浪潮信息驱动工程师刘伟带大家深入理解 RDMA 技术的基本原理，交流在工程上的设计思路。 1.RDMA技术的优点、基础知识和设计思路 RDMA 和传统网络方案的比较...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
开发与运维
集结各类场景实战经验，助你开发运维畅行无忧
+关注