IT之家 2 月 27 日消息，DeepSeek“开源周”的进度今日来到 4/5，此次开源了优化并行策略的项目。
具体如下：
DualPipe - 一种用于 V3 / R1 训练中计算-通信重叠的双向管道并行算法。
EPLB - 一种用于 V3 / R1 的专家并行负载平衡器。
分析 V3 / R1 中的计算-通信重叠。
IT之家附具体项目和链接如下：
DualPipe：
“双管道（DualPipe）”是在《深度搜索-V3 技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了流水线气泡。
专家并行负载均衡器（EPLB） ：
在使用专家并行（EP）时，不同的专家被分配到不同的 GPU。由于不同专家的负载可能因当前工作负载而异，因此保持不同 GPU 的负载平衡非常重要。正如在 DeepSeek-V3 论文中所述，我们采用冗余专家策略，复制高负载的专家。然后，我们通过启发式方法将复制的专家分配到 GPU 上，以确保不同 GPU 之间的负载平衡。此外，由于 DeepSeek-V3 中使用了分组受限的专家路由，我们还尽可能尝试将同一组的专家放置在同一节点上，以减少节点间的数据流量。为了便于复现和部署，我们在 eplb.py 中开源了我们部署的 EP 负载均衡算法。该算法根据估计的专家负载计算平衡的专家复制和放置计划。请注意，预测专家负载的确切方法不在此存储库的范围内。一种常见的方法是使用历史统计数据的移动平均值。
分析 V3 / R1 中的计算-通信重叠：
在这里，我们公开分享来自我们的训练和推理框架的分析数据，以帮助社区更好地理解通信-计算重叠策略和底层实现细节。
0 条