Training crash with "uncorrectable ECC error" and NCCL timeout?

[ShuimuChen-hyq]

在使用zero2跑SFT训练过程中，对于超长视频似乎总是在特定的0.5左右的epoch触发这个错误，请问作者有遇到相关问题，是否有解决办法？

[tulerfeng]

Hi，我没有遇到过这个问题，但是可以尝试：

1. 增加nccl timeout 时间
2. 改为zero3试试看
3. 观察一下是不是出现了OOM，导致nccl的一个worker被kill了
4. export DECORD_EOF_RETRY_MAX=2048001