DeepSeek AI开源周4/5：开源管道并行算法和专家并行负载均衡器等
山外的鸭子哥
DeepSeek AI 开源周目前正在继续中，今天开源的一共有三个项目：DualPipe、EPLB 和一个用于性能分析的工具，这些项目都在 DeepSeek AI GitHub 主页进行开源。
DualPipe：双管道并行算法
管道并行是一种在分布式训练中使用的技术，将深度神经网络模型分割成多个段，每个段由不同的 GPU 或节点按管道方式处理。
DualPipe 是一种创新的双向管道并行算法，可以实现前向和后向计算 – 通信阶段完全重叠，从而减少管道气泡。管道气泡指的是设备在等待数据时的空闲时间，消灭管道气泡可以提升效率。
这种优化算法对需要大量计算资源的模型尤为重要，DeepSeek 的技术报告显示，DualPipe 帮助实现了高效训练，仅在 278.8 万 H800 GPU 小时完成全部训练，包括预训练、上下文长度扩展和后训练。
EPLP：专家并行负载均衡器
DeepSeek-V3 采用混合专家 MoE 架构，该架构包含多个专家网络以及每个专家针对输入数据的不同部分进行专门处理。
EPLP 负载均衡器可以确保每个专家的负载即分配到的令牌或数据点数量大致相同，这可以解决负载不平衡的情况下某些专家超载或未充分利用从而影响模型性能和训练效果。使用 EPLP 负载均衡器后则可以帮助保持平衡的训练，提升模型的整体性能和效率。
第三个项目是性能分析工具：
仓库包含训练、预填充和解码的性能数据，例如训练数据展示了 DualPipe 在 4 层 MoE、EP64、TP1、4K 序列长度下的重叠策略，预填充数据则展示 EP32、TP1、提示长度 4K、每 GPU 16K 令牌的批次大小下的计算和通信重叠。
这些数据有助于帮助模型开发者和研究人员理解并优化模型的性能，具体请访问：https://github.com/deepseek-ai/profile-data
![[多区域] RackNerd特价服务器促销：10.98美元/年 3T流量/月 1G带宽](https://img.lancdn.com/landian/2024/10/106203T.png)
