使用eRDMA网络进行分布式训练
弹性RDMA(Elastic Remote Direct Memory Access,简称eRDMA)是阿里云自研的云上弹性RDMA网络。PAI通用计算资源中的部分GPU机型已支持eRDMA能力,您只需使用特定镜像提交基于这些GPU机型的DLC任务,系统将自动在容器内挂载eRDMA网卡,从而加速分布式训练过程。
调用QueryInstanceNcd查询实例网络通信距离
查询实例(灵骏节点、灵骏网卡)之间的网络通信距离(Network Communication Distance,NCD)。
查询PAI灵骏网络拓扑图
PAI灵骏提供了统一的网络通信距离NCD(Network Communication Distance)查询接口,供您对GPU节点(或网卡)间的通信距离进行查询,以实现更优的任务调度,获得最佳的训练性能。本文为您介绍NCD的基本概念、使用NCD的原因以及如何使用NCD。
《中国人工智能学会通讯》——3.2 基于网络结构信息的网络表示方法
3.2 基于网络结构信息的网络表示方法 基于网络结构信息的网络表示方法只考虑网络节点之间的链接关系。给定网络图 G=(V, E)。其中V 表示网络中的节点集合;E 是网络中的边集合网络表示学习的目的在于从网络信息中学习得到各个节点的低维表示是向量的维度。 这部分分别介绍 DeepWalk、LINE 和 GraRep三种模型。其中 DeepWalk 是以 Skip-gram 模型为基础,本质上使用....
《中国人工智能学会通讯》——4.31 网络诱导时滞
4.31 网络诱导时滞 由于网络的硬件条件限制,当网络负载太大,需要传输的信号量又很多时,网络的传输环境将会很差,信号将会发生拥塞。此时,下一个节点接收到上一个节点传来的信号实际上是受到网络诱导时滞影响的。诱导时滞包括数据包在网络中的等待时滞、传输时滞和接受处理时滞,它是由网络的状态决定的,是随机发生的,具有不确定性。随着半导体工业的迅猛发展,处理器的性能以指数的趋势发展着,节点处理计算信号带来....
《中国人工智能学会通讯》——8.25 基于演化优化的生物网络配准
8.25 基于演化优化的生物网络配准 生物网络配准是为了找到不同种群之间不同蛋白质网络的相似子图。生物网络配准可以帮助我们预测蛋白质功能。网络配准主要分为局部网络配准和全局网络配准两种。局部网络配准是为了匹配网络的局部区域,而全局网络是为了匹配网络的所有节点。在全局网络配准中,一个重要的问题是同时匹配网络结构和生物信息。全局网络配准被证明是一个 NP 完全问题。 目标函数以前的算法主要是通过最大....
《中国人工智能学会通讯》——8.24 基于演化优化的网络影响最大化
8.24 基于演化优化的网络影响最大化 影响最大化问题是社交网络分析中一个重要的研究问题。影响最大化是为了找到一个在网络中有最大影响力的节点集合。影响最大化在现实生活中有着广泛的应用,如社交媒体中广告的投放。 影响最大化被 Kempe、Kleinberg 和 Tardos建模为一个离散的优化问题。在独立级联模型中,影响最大化问题被证明是一个 NP-hard 问题。文献[34] 提出了一种基于集合....
中国人工智能学会通讯——基于视频的行为识别技术 1.6 深度神经网络提高视频处理速度
1.6 深度神经网络提高视频处理速度 视频处理还有一个需要考虑的重要问 题——速度。视频的数据量很大,另一方 面很多视频的应用都有实时性要求,因此 这是一个很实际的问题。对前面介绍的深 度神经网络而言,速度的瓶颈在于计算光 流的时间。 为了解决这个问题,我们注意到有一 个很好的东西可以替代光流。我们知道 现在的视频数据大部分都是压缩,很少 有人会把不压缩的视频存储和传输,因 为数量太大了。视频.....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
域名解析DNS
关注DNS行业趋势、技术、标准、产品和最佳实践,连接国内外相关技术社群信息,追踪业内DNS产品动态,加强信息共享,欢迎大家关注、推荐和投稿。
+关注