jupyter notebook에서 valid 실행시 커널이 죽는 문제 문의

안녕하세요. 필요할 때마다 강의로부터 많은 도움 받고 있습니다.

질문드릴 것이 있습니다.

기존에는 항상 코랩으로 진행을 하다가 이번에 jupyter notebook(랩 서버 gpu 사용)을 사용하려고 하였는데, train까지는 잘 진행되었는데 interval마다 평가 진행후에 kernel이 죽는 문제가 발생하였습니다.

현재 저는

• mmdetection을 clone한 후에, 필요한 것들을 설치하여 사용하고 있습니다.

• mmdetection은 최신 버전일 것이고, mmcv를 제 pytorch 버전과 cuda 버전에 맞추었습니다.

• gpu를 하나만 사용하고 있습니다.

• 데이터셋은 custom 데이터셋을 사용하고, 혹시 제가 코드를 잘못 짰나 했는데 코랩에서는 잘 학습이 됩니다.

구글링해도 잘 못찼겠어서, 혹시 관련 이슈에 대해서 해결책이 있는지 문의 드립니다. 감사합니다.

서버에서 어떻게 돌아가는지 보니 cpu를 xxx% 잡아 먹는 것을 보아 cpu 문제라고도 생각했는데, 그러면 코랩에서도 실행이 안되어야 할텐데, 이는 아니라서 고민 중에 있습니다. 감사합니다.