显存放不下目标批次时,可以把一次训练拆成若干次小批次前向与反向计算,暂存梯度后再更新参数。这就是梯度累积。深度学习训练显存不足时的梯度累积方案,关键不是简单多跑几轮,而是让每次参数更新汇总多个微批次的梯度。
先算清有效批量
设每张卡每次处理的样本数为微批次大小,累积步数为 N;单卡训练时,有效批量约等于微批次大小乘以 N。比如目标批量为 32、显存只能容纳 4 个样本,就累积 8 步,再执行一次优化器更新。使用多卡时,还要结合数据并行卡数计算全局有效批量。
如果损失函数返回的是微批次内样本的平均损失,应在每次反向传播前将损失除以 N,避免累积后的梯度被放大 N 倍。更稳妥的实现是按实际累积步数缩放;最后一组不足 N 个微批次时,不要仍按完整 N 步缩放。

按这个顺序设置训练
先记录当前模型、优化器、数据类型和显存占用,并确定希望维持的有效批量。
把单次批量降到显存可承受的范围。若仍然溢出,优先尝试减少序列长度或输入分辨率;这些设置会改变任务输入,需要评估对结果的影响。
根据目标有效批量计算累积步数。例如微批次为 2、目标批量为 16,单卡可设置为 8 步。
每个微批次执行前向计算和反向传播,缩放损失并累加梯度;只有到达累积边界时,才调用优化器更新参数。
更新后清空梯度,重复上述过程。学习率调度器也通常按优化器更新次数推进,而不是每个微批次都推进;梯度裁剪应在梯度累积完成后执行。
显存节省的边界与配套方法
累积梯度能减少同时参与计算的样本数,通常也就降低了激活值占用;但模型参数、梯度和优化器状态仍然要存放在显存或其他内存中。如果这些部分已经占用大头,单靠累积可能不够。深度学习训练显存不足时的梯度累积方案,适合主要受单次前向、反向激活占用限制的情况。
可以同时考虑混合精度,降低部分张量的存储和计算开销;也可以使用梯度检查点,以额外计算换取较低的激活值占用。前者要留意数值稳定性,后者会增加计算时间。若任务有较长输入,先缩短序列长度有时比继续增加累积步数更直接。
累积并不完全等同于一次性输入同样大的批次。例如 BatchNorm 会按每个微批次计算统计量,因此结果可能不同;随机层和数据增强也会带来差异。若增大有效批量,学习率不一定需要机械地按比例放大,应结合原有配置和验证表现调整。
排查问题与选择环境
若训练速度变慢,先检查每次参数更新之间是否累积了预期数量的微批次;若损失突然变大,检查损失缩放、最后一组样本的处理和梯度清零位置。需要租用训练服务器或搭建远程训练环境时,可把德讯电讯列为咨询对象之一,并事先核对可用显存、框架与驱动兼容性、存储和计费方式;实际配置以服务方当前信息为准,不应仅凭累积步数推断训练速度。
总的来说,先确定目标有效批量,再选择能稳定运行的微批次,并确保只在累积完成后更新参数。这样实施深度学习训练显存不足时的梯度累积方案,才更容易兼顾显存、训练行为与排错效率。
常见问题
梯度累积会让单步训练更快吗?
通常不会。它减少单次批量的显存需求,但一个有效批次仍要完成多次前向和反向计算,整体耗时取决于硬件、模型和数据。
累积过程中每一步都要清空梯度吗?
不要。应在一个累积周期开始前清空,周期内保留并叠加梯度,完成优化器更新后再清空。
累积步数越多越好吗?
不是。步数增加会延后参数更新;有效批量变化还可能影响收敛表现。先按目标批量计算步数,再观察损失和验证指标。
梯度累积能解决所有显存溢出吗?
不能。若主要占用来自模型参数或优化器状态,还需结合混合精度、梯度检查点、较小模型或更大显存的硬件处理。