Pytorch GPU运算过程中会出现:cuda runtime error(2): out of memory这样的错误。通常,这种错误是由于在循环中使用全局变量当做累加器,且累加梯度信息的缘故,用官方的说法就是:accumulate history across your training loop。 在默认情况下,开启梯度
Pytorch GPU运算过程中会出现:“cuda runtime error(2): out of memory”这样的错误。通常,这种错误是由于在循环中使用全局变量当做累加器,且累加梯度信息的缘故,用官方的说法就是:"accumulate history across your training loop"。
以上例子的修正方法是在循环中的最后一句修改为:total_loss+=float(loss),利用类型变换解除梯度信息,这样,多次累加不会累加梯度信息。 局部变量逗留导致内存泄露 局部变量通常在变量作用域之外会被Python自动销毁,在作用域之内,不需要的临时变量可以使用del x来销毁。 在设计Linear Layers 的时候,尽量让其规模小点 对于nn.Linear(m,n)这样规模的线性函数,他的空间规模为O(mn),除此规模的空间来容纳参数意外,还需要同样规模的空间来存储梯度,由此很容易造成GPU空间溢出。 相关的进程管理bash cmd nvidia-smi监控GPU, watch -n 1 nvidia-smi实时监控GPU, watch -n 1 lscpu实时监控CPU, ps -elf进程查看, ps -elf | grep python查看Python子进程, kill -9 [PID]杀死进程PID。 Referance:Pytorch documentations-[-/a> |
2019-06-18
2019-07-04
2021-05-23
2021-05-27
2021-05-27