인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

수뼈님의 프로필 이미지
수뼈

작성한 질문수

캐글 Advanced 머신러닝 실전 박치기

초거대 데이터셋을 Submission하려면?

작성

·

139

0

안녕하세요, 캐글 공부하다가 궁금증이 생겼습니다.

 

제가 참여하고 있는 Closed 대회 데이터가 워낙 커지니 모델의 크기도 그만큼 커지게 되는데, 이때 Kaggle Notebook은 성능이 그닥 좋지 못해서 모델 학습 시간이 너무 오래 걸려 Timeout되거나 OOM이 뜹니다. 이를 해결하는 방법이 어떤 게 있을까요?

답변 1

0

권 철민님의 프로필 이미지
권 철민
지식공유자

안녕하십니까,

참가하시는 대회가 정형 데이터를 기반으로 한다면 아래 링크를 참조하셔서 Pandas DataFrame을 생성시에 메모리를 줄여 보시면 어떨까 싶습니다.

https://www.kaggle.com/code/hamditarek/reducing-memory-size-for-great-energy-predictor

이걸로도 메모리가 줄여지지 않거나 아예 DataFrame을 생성하지 않는 대회라면 어쩔 수 없이 Kaggle이 아닌 메모리가 큰 다른 서버(클라우드나, 개인 서버)를 이용하셔야 할 것 같습니다.

감사합니다.

 

수뼈님의 프로필 이미지
수뼈

작성한 질문수

질문하기