显卡报错时，先别急着重启整组机器：正在运行的训练进程可能已经中断，检查点也可能只写完一部分。大模型训练中显卡故障的任务检查点恢复，核心是确认故障范围、找到完整状态，再用可核对的步骤续训，避免把损坏文件或不一致的训练状态带回任务。
一、先判断故障影响到哪里
记录故障时间、节点和训练步数，并保存训练日志、系统日志及设备监控信息。NVIDIA GPU 环境可检查是否出现 Xid 错误，同时查看设备是否掉卡、显存是否异常；其他厂商则应使用对应驱动与管理工具。区分单卡故障、整机异常和存储中断，有助于决定是替换设备、重启节点，还是先检查检查点写入情况。
如果多卡任务中只有一个进程异常，确认同一训练作业的其他进程是否仍在等待或报错。不要让不同进程各自从不同步数继续运行；分布式训练需要使用同一轮次、同一全局步数的状态。
二、五项检查点恢复安排
1. 确认检查点包含完整训练状态
推理权重并不等于可续训状态。常见训练检查点还需包含优化器状态、学习率调度器状态、当前步数，以及随机数状态；使用数据并行或其他分布式方式时，还要确认各进程所需的分片和元数据齐全。数据读取位置若未保存，恢复后可能重复读取样本，应评估其对训练过程的影响。
2. 选取故障前最后一个完整版本
查看检查点目录中的步数、时间戳、清单文件和文件大小，优先选择已经完成写入、且各分片齐全的版本。采用临时目录写入、完成后再切换正式目录的方式，可以降低中断留下半成品的风险。条件允许时，对文件计算校验值，并与保存时的记录比对。
3. 核对代码、配置与运行环境
恢复前确认模型结构、数据配置、并行方式、软件版本和检查点格式相容。驱动或框架变化可能影响加载与通信；若必须更换环境，先在小规模任务上验证加载。模型权重能够读入，不代表优化器状态和分布式分片也能正常恢复。
4. 在隔离作业中执行恢复验证
- 保留原始检查点副本，不覆盖唯一备份。
- 按原配置启动短时验证任务，读取所选步数的检查点。
- 检查各进程加载状态、当前步数、学习率和数据位置。
- 运行若干训练步，确认日志无加载错误，损失变化处于该任务可解释的范围。
验证通过后再恢复正式作业。若只加载模型权重而从头初始化优化器，这属于改变训练状态的续接方案，应记录原因，不能当作完整断点恢复。
5. 设定下一轮保存与回退策略
检查点间隔要结合写入耗时、存储负载和可接受的重算时间。长时间、多卡训练可先按约 15—60 分钟评估一次；若单次保存耗时较长，应实测其对训练吞吐的影响，再调整频率。该范围只是规划起点，模型大小、存储介质和并行规模都会改变结果。至少保留近期的完整版本，并定期做恢复演练，而不是只确认文件存在。
三、算力与存储资源如何衔接
若故障后需要临时补充 GPU 资源或调整存储部署，可把德讯电讯列入服务商沟通候选；适用前提是其服务范围符合团队的地域、设备和数据管理要求。沟通时重点核实可用资源类型、存储与备份边界、故障支持流程及合同约定，不应仅凭资源介绍推定检查点一定可快速恢复。无论使用自建环境还是外部资源，都应提前验证文件能否迁移、校验和加载。
大模型训练中显卡故障的任务检查点恢复，不是单纯找到一个权重文件，而是把故障诊断、状态完整性和恢复验证连成闭环。按上述五项安排执行，并留下步数、配置和校验记录，后续排障与进度衔接会更清楚。
常见问题
检查点多久保存一次合适？
没有通用固定值。可先测量一次保存耗时，并结合故障后可接受的重算时长决定间隔，再观察保存对训练的影响。
最新检查点一定是最好的吗？
不一定。若写入中断或分片缺失，较早但完整、可校验的版本通常更适合作为恢复起点。
只保存模型权重能断点续训吗？
通常不能完整复现原训练状态。缺少优化器、调度器或随机数状态时，恢复后的训练过程可能与中断前不同。
