-
질문 & 답변
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
초거대 데이터셋을 Submission하려면?
24.03.11 00:49 작성 조회수 48
0
안녕하세요, 캐글 공부하다가 궁금증이 생겼습니다.
제가 참여하고 있는 Closed 대회 데이터가 워낙 커지니 모델의 크기도 그만큼 커지게 되는데, 이때 Kaggle Notebook은 성능이 그닥 좋지 못해서 모델 학습 시간이 너무 오래 걸려 Timeout되거나 OOM이 뜹니다. 이를 해결하는 방법이 어떤 게 있을까요?
답변을 작성해보세요.
0
권 철민
지식공유자2024.03.11
안녕하십니까,
참가하시는 대회가 정형 데이터를 기반으로 한다면 아래 링크를 참조하셔서 Pandas DataFrame을 생성시에 메모리를 줄여 보시면 어떨까 싶습니다.
https://www.kaggle.com/code/hamditarek/reducing-memory-size-for-great-energy-predictor
이걸로도 메모리가 줄여지지 않거나 아예 DataFrame을 생성하지 않는 대회라면 어쩔 수 없이 Kaggle이 아닌 메모리가 큰 다른 서버(클라우드나, 개인 서버)를 이용하셔야 할 것 같습니다.
감사합니다.
답변 1