memoryerror 질문

Question

안녕하세요. 올려주신 모의문제 작업형 2유형 2번 문제를 푸는 도중 아래와 같은 에러가 발생했습니다. 코드 문법 관련된 오류는 아닌 것 같은데, 시험장에서도 이런 오류가 발생할 가능성이 있을까요? 감사합니다. Traceback (most recent call last): File "", line 22, in File "/lib/python3.12/site-packages/sklearn/base.py", line 1389, in wrapper return fit_method(estimator, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/lib/python3.12/site-packages/sklearn/ensemble/_forest.py", line 487, in fit trees = Parallel( ^^^^^^^^^ File "/lib/python3.12/site-packages/sklearn/utils/parallel.py", line 77, in __call__ return super().__call__(iterable_with_config) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/lib/python3.12/site-packages/joblib/parallel.py", line 1918, in __call__ return output if self.return_generator else list(output) ^^^^^^^^^^^^ File "/lib/python3.12/site-packages/joblib/parallel.py", line 1847, in _get_sequential_output res = func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/lib/python3.12/site-packages/sklearn/utils/parallel.py", line 139, in __call__ return self.function(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/lib/python3.12/site-packages/sklearn/ensemble/_forest.py", line 189, in _parallel_build_trees tree._fit( File "/lib/python3.12/site-packages/sklearn/tree/_classes.py", line 472, in _fit builder.build(self.tree_, X, y, sample_weight, missing_values_in_feature_mask) File "_tree.pyx", line 153, in sklearn.tree._tree.DepthFirstTreeBuilder.build File "_tree.pyx", line 268, in sklearn.tree._tree.DepthFirstTreeBuilder.build File "_tree.pyx", line 923, in sklearn.tree._tree.Tree._add_node File "_tree.pyx", line 892, in sklearn.tree._tree.Tree._resize_c File "_utils.pyx", line 29, in sklearn.tree._utils.safe_realloc MemoryError: could not allocate 63832064 bytes

퇴근후딴짓 · Answer

어떤 문제일까요? 추측으로는 대부분의 컬럼 내용이 다른데 이를 원핫 인코딩해서 데이터가 커진게 아닌가 싶어요 예를들어 1000개의 데이터가 다른데 이를 원핫인코딩하면 1000개의 컬럼이 생기고 이는 시험환경에서도 처리하기 어럽습니다. 원핫인코딩이 아닌 레이블 인코딩 또는 날씨 데이터라면 이를 파생변수로 변환등이 필요해요

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 2142073님. &ldquo;MemoryError&rdquo;는 주로 컴퓨터의 메모리 부족으로 발생하는 오류입니다. 각종 데이터와 모델을 메모리에 저장하기 위해 많은 RAM이 필요할 수 있으며, 특히 대용량 데이터셋이나 복잡한 모델을 사용할 때 자주 발생합니다. 이러한 오류를 해결하기 위한 몇 가지 방법을 제안드립니다: 데이터셋 크기 줄이기 : 샘플링 기법을 통해 사용하는 데이터의 양을 줄이면 메모리 사용량을 줄일 수 있습니다. 예를 들어 전체 데이터셋의 일부만 사용하는 방식으로 모델을 검증할 수 있습니다. 모델 복잡도 줄이기 : RandomForest 클래스를 사용하는 경우에는 n_estimators 를 줄이거나 max_depth 를 설정하여 모델의 복잡도를 낮추어 메모리 사용을 줄일 수 있습니다. 메모리 해제 : 작업이 끝난 객체를 삭제(dereference)하여 메모리를 해제할 수 있습니다. 예를 들어, del variable_name 을 사용하여 더 이상 필요하지 않은 데이터 객체를 제거할 수 있습니다. 환경 제어 : 몇 가지 최적화된 환경 설정 (swap 메모리 설정 등)을 통해 메모리 사용량을 조절할 수 있습니다. 용량 제한이 있는 시험 환경에서는 이와 같은 오류가 더 흔히 발생할 수 있습니다. 이러한 오류가 해결되지 않거나 더 많은 정보가 필요하시면 아래 유사한 질문 및 해결방법을 참조하시기 바랍니다: 메모리 오류 관련 - 여기서는 fit 함수의 잘못된 데이터 사용과 관련하여 메모리 문제를 해결하기 위한 여러 조언을 제공한다고 합니다. 에러 이유 - 데이터형의 일관성 문제에 대한 접근법을 설명하며, 메모리 문제 해결의 실마리를 제공할 수 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.