8 卡 Atlas 800I A2 内部走 HCCS带宽 200GB/s跨机走 RoCE带宽 100GB/s。HCCL 是昇腾NPU的通信库对标 NVIDIA 的 NCCL。Tensor Parallel 和 Pipeline Parallel 的 All-Reduce、All-to-All 都靠它。HCCL vs NCCL维度HCCLNCCL硬件昇腾NPUNVIDIA GPU卡内互联HCCSNVLink跨机互联RoCE/RDMAInfiniBand通信原语All-Reduce, All-Gather, All-to-All, Reduce-Scatter同左拓扑感知自动检测 HCCS/RoCE 拓扑自动检测 NVLink/IB 拓扑接口层面几乎一样——都是AllReduce(buffer, opSUM)这种风格。PyTorch 的分布式训练代码从 NCCL 迁移到 HCCL只需要改一行# NCCLtorch.distributed.init_process_group(backendnccl)# HCCLtorch.distributed.init_process_group(backendhccl)通信原语和适用场景原语数据量典型场景All-ReduceN × tensor_sizeTensor Parallel 的 Attention/FFN 输出合并All-Gather(N-1)/N × tensor_sizePipeline Parallel 的激活传递Reduce-Scattertensor_size / N跟 All-Reduce 等价但省显存All-to-Alltensor_sizeMoE 的 expert 间 token 路由Broadcasttensor_size参数同步、模型初始化All-Reduce vs Reduce-Scatter All-Gather数学上等价但 Reduce-Scatter 只把结果的一份发给每个 rankAll-Gather 再收集齐全。在带宽受限的跨机场景下Reduce-Scatter All-Gather 比 All-Reduce 快 15-20%因为每步通信量减半。Ring vs Tree 算法HCCL 支持两种 All-Reduce 算法Ring All-Reduce数据沿环形拓扑逐 rank 传递每步传 1/N 的数据量。带宽利用率高但延迟随 rank 数线性增长。Tree All-Reduce数据沿二叉树拓扑汇聚再广播。延迟是 O(log N)但带宽利用率比 Ring 低。rank 数Ring 延迟Tree 延迟40.8ms0.5ms81.5ms0.6ms162.8ms0.7msHCCL 默认在单机内用 RingHCCS 带宽高Ring 的额外延迟可忽略跨机用 TreeRoCE 延迟高Tree 的 O(log N) 更优。跟 ATB 的关系ATB 的 Tensor Parallel 推理用 HCCL 做 All-Reduce。每层 2 次 All-Reduce32 层 64 次。如果单次 All-Reduce 延迟从 1.5ms 降到 0.5ms总延迟省 64ms——这对 decode 速度的影响是毁灭性的。ATB 对 HCCL 的优化通信计算重叠All-Reduce 跟下一层的计算并行执行类似 MC2 的思路Reduce-Scatter 替代 All-Reduce省一半通信量拓扑感知调度HCCL 自动选择 Ring/Tree 算法多机组网Atlas 800I A2 的 8 卡通过 HCCS 全互联每对卡之间 200GB/s。跨机需要 RoCE 网卡通常 100GbE 或 200GbE。# 检查 HCCS 连接npu-smi info-tboard# 检查 RoCE 状态hccn_tool-ieth0-roce-s常见问题RoCE 网卡没有开 RDMA。HCCL 的跨机通信依赖 RDMA 零拷贝TCP 模式下性能降 3-5 倍。性能参考Atlas 800I A2 × 216 卡fp16 All-Reduce128MB 数据算法单机 8 卡跨机 16 卡Ring1.5ms5.2msTree0.6ms1.8msRing 通信计算重叠0.3ms1.2ms跨机场景下通信计算重叠把有效延迟从 5.2ms 降到 1.2ms。这就是 MC2 和 ATB 调度层的价值——不是让通信变快是让通信不占计算时间。HCCL 是昇腾NPU分布式训练和推理的通信底座。单机内不用操心HCCS 带宽够跨机场景要确认 RoCE RDMA 开了并且用 Tree 算法 通信计算重叠。仓库在这里https://atomgit.com/cann/hccl