nnUNet 실행 중 메모리(RAM) 계속 올라가는 버그 memory leak 해결법

nnUNet을 돌리다 보니.. 와우..

메모리가 조금씩 조금씩 오르다가 결국 100%까지 가서 프로세스가 터져버리는 현상이 일어났다.

 

이는 2D 모드로 nnU-Net을 돌릴때 일어나는 현상이며, 이미 공식 document에 "Common Issues and Solutions"에 실려있을 정도로, (한때) 문제였던 현상인데..

꼭 처음에 2D 돌릴때는 Memory Leak이 있는지 확인을 해야한다.

어떻게? 현재 메모리 사용량을 보게되면, memory 점유율이 진짜 1초에 1퍼센트씩 계속 오른다..

 

그럼 어떻게 해결해야할까?

위에 공식 도큐먼트에 적혀있는대로, nvidias ngc pytorch container를 사용하거나, cuDNN 버전을 8.0.2 혹은 그 이상으로 맞춰줘야한다.

 

파이토치를 설치할때 7.6.5버전의 cuDNN이 설치되는 경우가 있다는데, 그런 경우 해당 현상이 일어나게 되므로,

호환이 되는 cuDNN과 pytorch 버전 중 가장 높은 버전들을 찾아서 설치하는게 좋아보인다.

(그리고 재부팅 필수인듯)

 

자.. 이제 3.2% 메모리 점유율에서 편안히 돌아가고 있는 nnUNet을 보라 ㅠㅠ

(어제까지만 해도 99%점유율로 진짜 불타는 렉 그 자체였다)