理解NCCL源码必看：详细论述NCCL源码做了哪些事

已于 2024-04-22 13:08:09 修改
阅读量7.9k 收藏 94
点赞数 50
CC 4.0 BY-SA版权
分类专栏： NCCL 文章标签： nvidia NCCL 源码
于 2024-03-21 11:21:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014443578/article/details/136902252
本文详细解析了NCCL源码的初始化过程，包括获取UniqueID、Bootstrap网络的构建和AllGather同步数据实现，以及机器拓扑、XML转无向图、路径计算和Channel搜索的算法。文章通过实例说明了如何通过Transport建立P2P通信和利用共享内存的设计原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

NCCL 源码解析总目录

本文主要通过图示的方式来讲解 NCCL 源码初始化API做了哪些事，对NCCL源码实现的功能有一个整体直观的认识。
对于即将研究源码的同学来说，可以从整体上先了解一下，与源码一同食用，更健康。

我的思维可能比较跳脱，有的内容没有提到的，留言或者请自行查阅资料理解。

如有问题，请留言指正。

有些遗漏之处，还没涉及，后面补；
闲话后面再补。

NCCL 源码具体实现概览

ncclCommInitRank() 主要实现如下几个功能：
请添加图片描述

1. 初始化及获取 UniqueID

初始化主要是软件运行需要的一些准备，以及所需要的网络初始化；
需要关注的是，获取UniqueID, 本质是一个数组，保存当前机器的IP和Port，什么时候用到，后文会提到。
请添加图片描述

2. Bootstrap 网络

2.1 目的

建立Bootstrap网络的目的是，线程或进程通过TCP网络建立一个环，所有线程或进程通过 ALLGather 方式同步一些信息
该功能完成之后结果如下图：
在这里插入图片描述

2.2 AllGather 同步数据实现步骤

首先，我前面提到建立了 bootstrap 网络之后，就是用来做 allgather 同步信息的，本节介绍一下 AllGather是如何操作的。
假设有3个GPU，对应有三个线程或进程，如下图，每个长方形代表一个线程，每个线程有一个独有的相关数据，要实现所有线程gather所有信息，即每个线程都要拥有全部数据，最快速的方法就是通过AllGather的方式，传输数据的通过是上图中通过TCP建立的环。
在这里插入图片描述

  • 第一步，前一个向后一个发送自己的数据
    在这里插入图片描述
  • 继续重复
    在这里插入图片描述
    最终，所有的线程都拥有了所有的数据。

2.3 Bootstrap 网络如何建立

  1. 首先，同样假设我们的硬件组成中有三个GPU，每个GPU对应一个线程，Rank 也是唯一标识一个GPU的ID。启动NCCL初始化中会遍历主机中的网卡，对应3个GPU，创建三个线程。现在我们要将他们通过TCP连成一个环。
    虽然线程是资源共享的，但是在NCCL中，他们之间的数据不是通过全局变量进行同步的，也就是说，为了软件结构上的统一，NCCL 中线程和进程的处理基本一致，不会因为线程之间可以资源共享而采用不同的方式，即，你可以认为这里三个线程和进程一样，是独立的，互相无法感知的。所以，现在就有一个问题，这三个线程如何建立一个环，要连接TCP，必须知道服务端的IP和端口，但是现在每个线程独立，并不知道如何联系。
    在这里插入图片描述
  2. NCCL 另外创建了一个 Root 线程，这个线程只有一个，是 Rank0 线程创建的，所以一个初始化中只有一个。创建这个为了啥，看后文。
    在这里插入图片描述
  3. 继续操作，每个Rank线程都创建两个TCP服务监听端口，端口1是为了让其他Rank线程可以联系到本地，端口2是为了让root线程可以联系我。
    在这里插入图片描述
  4. 下一步，root 线程也建立一个监听端口，等待所有 rank 线程链接。
    但是，其他rank线程链接root会面临同样的问题，线程相互独立，没有ip和端口不知道怎么连接。
    还记得前面提到的UniquelID吗，保存的是ip和端口，创建所有线程的时候，这个信息就都传递进来了，所以，root 线程使用UniquelID建立Socket监听，其他线程通过这个链接root 线程。
    在这里插入图片描述
  5. OK, 既然知道了，那就链接TCP服务器，连接的目的是发送本地线程的服务器监听端口1给Root线程进行一个汇总，统一管理。
    在这里插入图片描述
  6. 执行完上一步，Root线程就会知道了所有Rank线程的监听端口1的socket了。
    在这里插入图片描述
  7. 下一步，在root线程中，按照rank顺序建立 ring, 具体实现如图，环是 0->1->2, 那么就向Rank0发送Rank1 的监听Socket, 向 Rank1 发送 Rank2 的监听Socket。。。
    在这里插入图片描述
  8. 到此，所有Rank线程就知道了要链接的监听Socket，Root 线程使命结束。
    在这里插入图片描述
  9. 下一步就简单了，直接连接就可以了，围成一个环。因为是网络通信，所以无论是线程还是进程，无论是单机内还是多机，线程或进程都可以建立这个环。
    在这里插入图片描述

3. 机器拓扑

把服务器内相关的硬件信息抽象出来，让软件知道。获取的设备：GPU、PCI Bus、网卡；

3.1 目的

软件获取硬件连接信息，为了后续软件建立环等操作

3.2 流程

在这里插入图片描述

3.3 例程

假设现在硬件连接如下：
4个GPU, 通过NVLINK 相互连接，有一根的也有两根的，GPU4 单独拿出来；

拓扑流程走完，软件就可以生成如下文件：
在这里插入图片描述

4. XML 转无向图

XML用于算法对软件不友好，因此需要把XML格式转为数据结构中的无向图结构，无向图可视化就是如下图：

请添加图请添加图片描述 片描述

其中，有几个重点需要注意:
节点的类型： 节点的类型分为 GPU、PCI、NVS(nv switch)、CPU、NIC、NET
节点的信息： 节点的信息最主要的是 nlinks, 表示与该节点相连的设备数量，包括自己，比如与GPU0相连的设备数量有5个
边的信息： 边的信息则要关注以下内容：
在这里插入图片描述

  • Link.remNode 边的对端节点就是对端节点的对象
  • Link.bw 边的带宽是理论计算的带宽，且是累计的，如上，两个NVLINK则是40，一个是20
  • Links 是一个数组，保存到其他设备的所有边
  • 边的类型定义如下
    LINK_LOC 跟自己相连的边
    LINK_NVL NVLink 连接的边
    LINK_PCI PCIe总线连接的
    LINK_SYS CPU之间连接的边
    LINK_NET 网络连接的边

在这里插入图片描述
计算NVLINK的理论带宽，是根据SM选择的，定义如下。
在这里插入图片描述

5. 路径计算

5.1 目的

搜索所有设备到GPU、NIC、NVSwitch的通路，并计算相应信息。

5.2 结果

路径计算完毕之后，就会得到路径信息，如下
count 为路径的数量
bw 为路径的带宽
type 为路径的类型
在这里插入图片描述

如GPU0 ，所有设备到GPU0的路径如下
在这里插入图片描述
请添加图片描述
其中路径类型的定义，从上到下，速率依次降低：
在这里插入图片描述

5.3 实现步骤

记住：

  • 计算的原则是使用广度优先搜索
  • 最优的路径是路径最短且带宽最大
  • 按照带宽大小遍历对端节点

5.3.1 广度优先搜索

以GPU0为例，要计算所有设备到GPU0的路径，使用的算法是广度优先搜索，先简单介绍一下该算法。

  1. 假设这是一个树，从GPU0开始，先访问GPU0
  2. GPU0一层的节点就一个，把GPU0的子节点GPU3 GPU1 GPU2放入队列；
  3. GPU3 出队, 处理GPU3，将GPU3 的子节点放入队列
  4. 继续出队直到结束。

总之，如下图，从上到下，从左到右遍历节点。
在这里插入图片描述

5.3.2 例程

以GPU0 为例，计算所有设备到GPU0的路径。

  1. 从GPU0 开始遍历节点，GPU0 到GPU0没啥好说的，自己跟自己带宽最大，计算一遍，就不会再更新了。
  2. 假设程序遍历到GPU3
    在这里插入图片描述
  3. 针对GPU3，再遍历GPU3 相连的节点，有5个
    在这里插入图片描述
  4. 同样假设，我们遍历到 GPU3 的对端节点GPU2。
    这个意思就是现在要计算GPU2 到GPU0的路径，通过GPU3计算，也就是说要看一下当前GPU2记录的到GPU0的路径跟GPU2走GPU3到GPU0的路径相比较，有点绕，仔细看这句话。
    比较的指标是路径最短以及带宽最大，如果要走GPU3，那么要选择 min(GPU3到GPU0的bw, GPU3到GPU2的bw)， 这个好理解，就是选最小的带宽
    如下例子，假设GPU2到GPU3的带宽是40，GPU3 到GPU0的带宽是40，那么GPU2->GPU3->GPU0 的带宽是40，GPU2->GPU0还有两条路带宽是20, 一个是直连，一个是过GPU1。
    这里会选择直连作为最优路径，因为虽然带宽小，但是路径短，即边的数量只有1，比其他两个的2条边少。
    在这里插入图片描述
  5. 通过第四步，可以更新GPU2到GPU0 的路径了。通过暴力搜索，所有的节点都能计算出来。

5.3.3 结果

GPU0 的路径结果如下。有连接类型，设备类型，还有带宽。
在这里插入图片描述

6. 搜索 Channel

以上步骤，都是为了本节的搜索 channel 做准备。channel 搜索的结果不止一个，也可能是多个。
同样需要记住的关键点：

  • 使用的是递归暴力搜索
  • 根据设置的条件，最严格到一步一步放松，条件包括路径类型和带宽
  • 满足的要求，即怎么才算成功搜索到一个channel：
    1. 路径要通
    1. path 路径类型要满足
    1. 链路带宽 > 要求的条件带宽
    1. channel * bw 要尽量大

6.1 目的

在这里插入图片描述

6.2 例程

  1. 为了方便起见，以以下拓扑链接为例，搜索 ring channel， 链接路径类型都是 nvlink, 相应贷款也列出来了。
    在这里插入图片描述

  2. 根据GPU的SM计算能力，设置带宽条件，先从60开始，路径类型也从nvlink开始，从设备GPU0开始暴力搜索，判断GPU0到GPU1或者GPU3的路径类型满足，但是带宽不满足60，那么就失败了；先降低路径类型，从nvlink 一步一步降低路径类型要求，但是无论如何带宽60是不满足的，所以，恢复路径类型的要求到nvlink, 将带宽要求降低到40，40也不满足，因为GPU0开始，到GPU3是通的，但是转一圈回来，GPU2、GPU1到GPU0的带宽都是小于40的，所以成不了环。
    在这里插入图片描述

  3. 下一个节点的选择有两种策略，一个是按照PCI顺序，即GPU0的下一个节点是GPU1,GPU2,GPU3，这些都是要遍历的，针对GPU1, 下一个几点就是GPU2, GPU3，这样递归遍历；另一个策略是按照带宽大小寻找下一个节点；

  4. 当路径类型要求为nvlink， 路径带宽条件为20的时候，就有路可以通了。下一个节点是按照带宽大小寻找的，即GPU0下一个节点是GPU3, GPU3到GPU2,GPU2到GPU1。两个条件都满足，可以构成 0->1->2->3，也可以构成channel, 0->3->2->1, 这是一个循环。 同时，链路上的带宽是减掉当前遍历的带宽的，如下图，好理解一点，本来是40的变为20，本来是20的变为0。
    在这里插入图片描述

  5. 还要在上面的基础上进行遍历，要充分利用带宽。流程还是一样的，就不细讲了，我们可以直接看图，按照上面的思路直接选，会花圈就行，以下的信息可以画出2个 channel 来，即 0->3->1->2, 0->2->1->3.
    在这里插入图片描述

  6. 所以，最终，搜索出4个channel。还可以从另一个角度去看 channel, 站在GPU3的角度，带宽为20的话，有两条nvlink到GPU0, 这个四个channel里只看GPU3的下一个节点，就会看到2个0, 1个1，1个2。这是最终的一个效果，即充分利用了所有的带宽。
    在这里插入图片描述

7. Transport 的建立

7.1 目的

在这里插入图片描述

7.2 流程

在这里插入图片描述

7.3 P2P

在这里插入图片描述

7.4 共享内存

在这里插入图片描述

NCCL 源码详解总目录
这个地瓜真是甜啊
02-05 6451
NCCL 源码解析总目录
NCCL源码解读5：拓扑识别感知整体思路总览
爱串门的小马驹博客
06-17 2114
依据物理拓扑结构，来进行通信，可达到性能更优，这也是Nvidia NCCL的核心功能。NCCL拓扑识别的整体思路： 1、物理拓扑构建 2、通信路径计算（每个GPU/网卡到其它GPU，网卡的最优路径。） 3、逻辑拓扑构建(通信通道检索) 哈哈哈，整体思路是不是特别简单。就是先获取物理拓扑图，然后计算通信路径(方便逻辑拓扑构建)，根据通信路径构建逻辑拓扑，例如ring，tree逻辑拓扑，指明哪个GPU和哪个GPU通信。
NCCL AI 分布式训练集合通讯库技术基本原理
烟云的计算
02-28 1852
NCCL（NVIDIA Collective Communication Library）集合通讯库，是 NVIDIA 为 AI 模型开发者提供的、专用于控制多张 GPU 之间进行高效通信的 lib 库，应用于分布式 GPU 训练场景。如下深度学习软件堆栈图所示。NCCL 的北向是 AI 模型开发框架 PyTorch、Paddle、TensorFlow 等，这些 AI 框架通过集成、调用 NCCL lib 库来控制 GPU 之间的数据通信方式。
多GPU编程指南：NCCL通信原语与Megatron-LM分布式训练配置
最新发布
datacanvas2426的博客
06-18 1118
掌握NCCL通信原语和Megatron-LM配置是构建大规模分布式训练系统的核心能力。通信原语选择梯度同步用AllReduce参数收集用AllGather流水线并行用Send/Recv并行策略配置TP适合大矩阵运算PP减少峰值显存DP计算/通信比高性能优化铁三角通信计算重叠拓扑感知调度混合精度训练学习资源推荐NCCL官方文档分布式训练实战课程分布式训练的艺术在于在计算与通信间寻找最佳平衡点，而掌握工具只是起点，理解系统本质才是关键。版权声明。
NCCL test源码分析
weixin_48329334的博客
09-14 2103
Nccl test有几个测试文件，每一个测试文件会单独生成一个测试程序，并以"_perf"为后缀生成可执行的文件。每个测试源码文件会和两个公共文件common.cu和timer.cc，以及nccl、cuda、mpi这三个lib一起编译生成可执行的文件。
NCCL源码详解3：通信器初始化ncclCommInitRank() 含视频教程
爱串门的小马驹博客
05-24 3237
NCCL源码解析解读分析，ncclCommInitRank()根据rank号和CUDA设备uniqueID等，完成NCCL通信器初始化。ncclCommInitRankDev()使用 ncclAsyncLaunch 异步启动 ncclCommInitRankFunc 函数来初始化通信。 异步启动通信器初始化ncclCommInitRankFunc()
nccl 源码分析 从 ncclAllReduce 的执行开始认识nccl源代码
eloudy的专栏
01-04 2543
这个info是在ncclAllReduce()中定义的 struct ncclInfo info，其中info->comm 是ncclAllReduce 传递进来的第五个参数 ncclComm* comm。所以，启动相关的阿cuda kernel等，应该是在后面的 ncclGroupEnd() 中，通过解析 comm->tasks的数据元素来启动的。那么需要看一下 ncclIntruQueueEnqueue 到底对t中的 t->op做了什么解析，t->op是这个函数的第二个参数的op成员；
NCCL源码解析: 共享内存连接的建立
这个地瓜真是甜啊
02-06 2518
NCCL 源码中两个设备通过共享内存通信初始化
NCCL源码解读3.1：double binary tree双二叉树构建算法，相比ring环算法的优势
爱串门的小马驹博客
01-04 1847
如果我们用两棵树中的每一棵来处理一半的数据，那么每个 rank 最多会收到两次一半的数据，两次发送一半的数据，这在发送/接收的数据方面就像 rings 一样最优。在规模上，当我们在 InfiniBand 结构中跨越 L3 交换机时，带宽会略有下降，我们认为这是由于 NCCL 通信模式和 InfiniBand 路由算法之间的效率低下造成的。，其优势是将广播和 reduce 操作的全带宽（可以组合成一个执行 reduce，然后执行广播的 allreduce）和对数延迟相结合，从而在中小型操作中实现良好的性能。
NCCL源码解析①：初始化及ncclUniqueId的产生
OneFlow深度学习框架
03-14 5435
NCCL是英伟达开源的GPU通信库，支持集合通信和点对点通信。
ubuntu1604+nccl1.2.3+cuda8.0源码
01-04
通过源码安装，开发者可以根据自己的需求进行定制，优化性能，同时也能更好地理解和调试NCCL的工作机制。遵循readme文件的指导，可以顺利完成安装和配置过程，为基于CUDA的高性能计算项目提供强大的支撑。
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ ...
NCCL源码解析③：机器内拓扑分析
OneFlow深度学习框架
04-27 4932
上节介绍所有节点执行了bootstrap网络连接的建立，接下来介绍下拓扑分析。由于GPU机器架构是多种多样的，一台机器上可能有多个网卡，多个GPU卡，卡间连接也各不相同，因此需要对机器内设备连接拓扑进行分析，以使性能在各种拓扑结构下都尽可能好。接着上回继续看initTransportsRank。static ncclResult_t initTranspor...
NCCL源码详解1：NCCL官网使用/调用案例 Example : One Device per Process or Thread包含视频教程
爱串门的小马驹博客
05-11 3631
NCCL源码解析解读分析，rank0获取NCCL通信组ID，并通过MPI_Bcast广播给其它rank；借助MPI获取的这些信息NCCL完成初始化，并进行集合通信。
NCCL源码详解2：通信初始化如何获取唯一ID UniqueId，ncclGetUniqueId()中ncclInit()、bootstrapGetUniqueId()包含视频教程
爱串门的小马驹博客
05-18 2650
NCCL 视频教程 源码解读 获取唯一ID UniqueId，ncclGetUniqueId()和其调用的ncclInit()和bootstrapGetUniqueId() NCCL源码解析解读分析，
NVIDIA NCCL 源码学习（十二）- double binary tree
KIDGIN7439的专栏
12-22 8285
上节我们以ring allreduce为例看到了集合通信的过程，但是随着训练任务中使用的gpu个数的扩展，ring allreduce的延迟会线性增长，为了解决这个问题，NCCL引入了tree算法，即double binary tree。
源码学习：NVIDIA/nccl (持续更新)
weixin_36012235的博客
06-20 1244
源码地址： https://github.com/NVIDIA/nccl
NVIDIA NCCL 源码学习（九）- 单机内ncclSend和ncclRecv的过程
热门推荐
KIDGIN7439的专栏
12-27 1万+
上节介绍了通信链路的建立过程，本节介绍下单机内部ncclSend和ncclRecv的运行过程。 单机内的通信都是通过kernel来完成的，所以整个通信的过程可以分为两步，第一步是准备kernel相关的参数，第二步是实际执行kernel的过程。
从调用NCCL到深入NCCL源码
Chenzhinan1219的博客
10-12 2774
1.nccl网络初始化：一、bootstrap网络，二、数据通信网络，bootstrap网络主要用于初始化时交换一些简单的信息，比如每个机器的ip和端口，由于数据量很小，而且主要是在初始化阶段执行一次，因此bootstrap使用的是tcp；初始化通信，所有进程使用相同的UniqueID调用ncclCommInitRank函数初始化通信，一般每个GPU都有一个独立的ncclComm，NCCL根据UniqueID和各自的网络配置（IP地址＋端口号）建立Socket连接构建通信拓扑。
nccl里的ncclTopoPreset函数的源码详细解读下
02-20
<think>好的，我现在需要详细解读NCCL库中的ncclTopoPreset函数的源码。首先，我需要了解NCCL是什么，以及ncclTopoPreset函数的作用。NCCL是NVIDIA Collective Communications Library，用于多GPU之间的高效通信，特别是在深度学习中的分布式训练。拓扑（Topo）可能指的是系统的硬件拓扑结构，包括GPU、CPU、PCIe连接、NVLINK等。Preset可能是指预设的拓扑配置，所以这个函数可能负责根据预设参数初始化拓扑结构。 接下来，我需要找到NCCL的源代码，查看相关的部分。由于不能直接访问代码，我需要依靠公开的源码或文档。根据之前的知识，NCCL的拓扑模块处理系统的硬件布局，以优化通信路径。ncclTopoPreset可能属于这个模块。 首先，函数的定义可能在topo.cc或类似文件中。函数的作用可能包括设置预设的拓扑参数，比如手动指定某些配置，覆盖自动检测的结果。这可能用于调试或强制特定通信路径。 参数方面，ncclTopoPreset可能接收一个结构体指针，如ncclTopoSystem* system，以及一些预设参数，比如带宽、路径类型等。还可能接收环境变量，用户通过环境变量设置预设选项。 接下来，我需要分析函数的实现步骤。可能的步骤包括：检查是否有预设的配置，解析这些配置（例如从环境变量），然后将这些配置应用到拓扑结构中。例如，设置GPU之间的带宽，指定使用NVLINK而不是PCIe，或者定义特定的通信路径。 另外，需要处理错误情况，比如无效的预设参数，或者冲突的配置。例如，用户可能同时指定了两种不兼容的连接方式，这时需要报错或警告。 还可能涉及与硬件检测的交互，比如如果启用了预设配置，则跳过自动检测，或者将预设参数与检测结果结合使用。 需要进一步考虑代码结构：函数可能首先检查全局变量或环境变量，判断是否启用预设。例如，NCCL_TOPO_PRESET环境变量存在时，读取其值，如“NVLINK”,“PCIe”等。然后根据不同的预设值，填充ncclTopoSystem结构体的各个字段，比如设置带宽数值、路径的亲和性等。 举例来说，如果用户设置NCCL_TOPO_PRESET=HIGH_BW，函数可能会将GPU间带宽设置为一个较高的值，假设NVLINK存在。或者，预设可能指定某些节点之间的连接方式，以优化AllReduce等集体操作。 此外，ncclTopoPreset可能在自动拓扑检测之前或之后调用，取决于是否需要覆盖某些参数。如果是在自动检测之后调用，可能会调整某些值；如果之前调用，可能替代自动检测的部分结果。 需要关注函数中如何修改ncclTopoSystem的结构体成员。例如，ncclTopoSystem中的nodes数组，每个node代表一个设备（GPU、CPU、NIC等），node之间的连接（links）信息，包括类型、带宽、延迟等。预设函数可能修改这些连接的属性，或添加/删除某些连接。 可能的代码逻辑如下： 1. 检查是否存在预设配置，比如环境变量NCCL_TOPO_PRESET。 2. 解析预设参数，确定需要应用的配置。 3. 遍历拓扑系统中的节点和连接，根据预设参数调整其属性。 4. 可能重新计算路径成本或最优路径，基于新的配置。 此外，可能需要考虑不同预设场景，例如模拟不同的硬件环境，或者在自动检测不准确时手动修正。 但需要注意，NCCL的实际实现可能更复杂，涉及到多个子系统的协调。例如，预设可能需要同时调整GPU与CPU的连接、GPU之间的NVLINK连接、以及网络接口的连接方式。 可能的错误点包括：预设参数与实际情况不符导致性能下降，或者无效的连接配置导致通信失败。因此，函数中可能包含验证步骤，确保预设的配置在逻辑上是可行的。 总结来说，ncclTopoPreset函数的作用是根据用户提供的预设参数，调整或覆盖NCCL自动检测到的硬件拓扑结构，以优化或测试特定的通信行为。其实现可能涉及解析环境变量，修改拓扑结构中的连接属性，并确保配置的有效性。N</think>CCL（NVIDIA Collective Communications Library）中的 `ncclTopoPreset` 函数用于根据预设参数调整或覆盖自动检测的硬件拓扑结构，以优化通信策略。以下是对其源码逻辑的详细解读： --- ### **功能概述** - **作用**：通过环境变量或手动配置，覆盖自动检测的硬件拓扑（如GPU连接方式、带宽、路径优先级），用于调试或强制特定通信行为。 - **场景**：当自动检测不准确，或需测试不同拓扑对性能的影响时使用。 --- ### **核心代码逻辑** 1. **环境变量解析**： ```c // 示例：从环境变量读取预设配置 const char* preset = getenv("NCCL_TOPO_PRESET"); if (preset == NULL) return ncclSuccess; // 无预设时直接返回 ``` - 检查 `NCCL_TOPO_PRESET` 是否存在，若不存在则跳过预设逻辑。 2. **预设模式匹配**： ```c if (strcmp(preset, "NVLINK") == 0) { // 强制优先使用 NVLink 连接 for (int gpu=0; gpu < system->nodes[GPU].count; gpu++) { setLinkType(system, GPU, gpu, NVLINK, HIGH_BW); } } else if (strcmp(preset, "PCI") == 0) { // 强制使用 PCIe 路径 disableNvLinks(system); } ``` - 根据预设值（如 `NVLINK`、`PCI`）调整连接类型和带宽。 3. **拓扑结构修改**： - **连接覆盖**：手动设置 GPU/CPU/NIC 之间的连接属性（如 `ncclTopoLink` 的带宽、类型）。 - **路径成本计算**：根据预设的带宽和延迟，重新计算节点间通信成本，影响算法选择（如 Tree 或 Ring AllReduce）。 4. **验证与回退**： ```c if (validateTopo(system) != ncclSuccess) { WARN("Invalid topo preset %s, fallback to auto-detection", preset); resetTopo(system); // 重置为自动检测结果 } ``` - 确保预设配置逻辑有效，否则回退到自动检测。 --- ### **关键数据结构** - **`ncclTopoSystem`**：描述系统拓扑，包含节点（GPU、CPU、NIC）及连接信息。 ```c struct ncclTopoSystem { ncclTopoNode nodes[NCCL_TOPO_NODE_TYPES]; // 各类型节点（GPU/CPU等） struct ncclTopoLink links[MAX_LINKS]; // 节点间的连接（NVLink/PCIe等） }; ``` - **`ncclTopoLink`**：描述连接属性，如带宽、延迟、类型。 ```c struct ncclTopoLink { int type; // NCCL_TOPO_LINK_TYPE (如 PCIe、NVLink) float bw; // 带宽（GB/s） int latency; // 延迟（ns） }; ``` --- ### **示例预设场景** 1. **强制 NVLink 通信**： - 设置 `NCCL_TOPO_PRESET=NVLINK`，使 NCCL 优先选择 NVLink 路径，忽略 PCIe。 2. **模拟低带宽网络**： - 通过预设降低 GPU 间带宽数值，测试算法在低带宽下的表现。 --- ### **实现注意事项** - **执行顺序**：可能在自动拓扑检测**之后**调用，以覆盖特定参数。 - **性能影响**：错误的预设可能导致性能下降，需谨慎验证。 - **调试支持**：通过日志输出确认预设是否生效（`INFO(NCCL_GRAPH, "Applied topo preset: %s", preset)`）。 --- ### **总结** `ncclTopoPreset` 是 NCCL 中用于手动调优拓扑的核心函数，通过环境变量干预通
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Call Me Gavyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值