그래픽카드가 분명히 잡히는데, CUDA_VISIBLE_DEVICES가 안 먹힐때
gpustat -i 혹은 nvidia-smi 쳤을때는 정상적으로 잡히는데 CUDA_VISIBLE_DEVICES만 하면 안되는 경우가 생겼다면 꼭 이걸 먼저 체크해보자 CUDA_VISIBLE_DEVICES 뒤의 숫자를 0 , 1 , 2 3 등등 바꿔가면서, 뒤의 숫자랑 그래픽카드 번호랑 매핑이 맞춰져있는지 먼저 확인해보자... 위의 두 사진에서 보이는 그래픽 카드 순서가 CUDA_VISIBLE_DEVICES = "???"에 나오는 ???랑 숫자 순서가 다르다는 것... CUDA_VISIBLE_DEVICES = 1 로 하니깐 4번째 GPU가 돌아가는 현상을 볼수 있다 ㅋㅋㅋ 엔비디아!! ㅂㄷㅂㄷ 아니면 파이토치 문제인가..?
nnUNet 2D 이미지 돌릴때, cannot convert float infinity error 해결법
https://github.com/MIC-DKFZ/nnUNet/issues/1236 OverflowError: cannot convert float infinity to integer · Issue #1236 · MIC-DKFZ/nnUNet Hello, have you seen this problem before? number of threads: (8, 8) not using nonzero mask for normalization not using nonzero mask for normalization not using nonzero mask for normalization Are we... github.com https://github.com/MIC-DKFZ/nnUNet/issues/1253 Prob..
nnUNet 실행 중 메모리(RAM) 계속 올라가는 버그 memory leak 해결법
nnUNet을 돌리다 보니.. 와우.. 메모리가 조금씩 조금씩 오르다가 결국 100%까지 가서 프로세스가 터져버리는 현상이 일어났다. 이는 2D 모드로 nnU-Net을 돌릴때 일어나는 현상이며, 이미 공식 document에 "Common Issues and Solutions"에 실려있을 정도로, (한때) 문제였던 현상인데.. 꼭 처음에 2D 돌릴때는 Memory Leak이 있는지 확인을 해야한다. 어떻게? 현재 메모리 사용량을 보게되면, memory 점유율이 진짜 1초에 1퍼센트씩 계속 오른다.. 그럼 어떻게 해결해야할까? 위에 공식 도큐먼트에 적혀있는대로, nvidias ngc pytorch container를 사용하거나, cuDNN 버전을 8.0.2 혹은 그 이상으로 맞춰줘야한다. 파이토치를 설치할때..
CUDA_VISIBLE_DEVICES 안먹힐때 해결법! (GPU 할당하기)
아늬.. CUDA_VISIBLE_DEVICES = "0, 1"이런식으로 할당해도 작동이 안되는 것 아니겠는가.. 그래서 검색해봤더니, 이런 결과가 딱!! 해결법 - import torch 보다 더 전에 CUDA 관련 os.environ 코드들을 써주면 해결된다고 한다. + 근데 웃긴건 내 상황은 이게 문제가 아니였네?! ㅋㅋ 이거 해도 안되길래 확인해봤더니 애초에 도커에서 GPU설정을 잘못해뒀었다.. 설정을 바꾸고 나니, 위의 방법대로 안해도 잘된다.. 정상적으로 세팅을 했는데도 안되시는 분들이 한번쯤은 해볼 수 있는 방법인듯 ++ 다른 컴퓨터에 세팅했다고 동일 문제 발생 -> 찾아보니, gpu랑 맞는 버전의 pytorch 버전이 필요한듯 하다..
IBM Plex : 씽크패드 쓰는 입장에서 매력적임 https://www.ibm.com/plex/ IBM Plex IBM Plex® is our new typeface. It’s global, it’s versatile, and it’s distinctly IBM. www.ibm.com 네이버 D2CODING - 한글과 영어가 잘 어울러지는 폰트 https://github.com/naver/d2codingfont GitHub - naver/d2codingfont: D2 Coding 글꼴 D2 Coding 글꼴. Contribute to naver/d2codingfont development by creating an account on GitHub. github.com HACK - 어디서든 애플 감성 ㅋ..