inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

기출(작업형2) 한 가지 방법으로 풀기

memoryerror 질문

해결된 질문

50

2142073

작성한 질문수 8

0

안녕하세요. 올려주신 모의문제 작업형 2유형 2번 문제를 푸는 도중 아래와 같은 에러가 발생했습니다. 코드 문법 관련된 오류는 아닌 것 같은데, 시험장에서도 이런 오류가 발생할 가능성이 있을까요? 감사합니다.

 

Traceback (most recent call last):
  File "<exec>", line 22, in <module>
  File "/lib/python3.12/site-packages/sklearn/base.py", line 1389, in wrapper
    return fit_method(estimator, *args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/lib/python3.12/site-packages/sklearn/ensemble/_forest.py", line 487, in fit
    trees = Parallel(
            ^^^^^^^^^
  File "/lib/python3.12/site-packages/sklearn/utils/parallel.py", line 77, in __call__
    return super().__call__(iterable_with_config)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/lib/python3.12/site-packages/joblib/parallel.py", line 1918, in __call__
    return output if self.return_generator else list(output)
                                                ^^^^^^^^^^^^
  File "/lib/python3.12/site-packages/joblib/parallel.py", line 1847, in _get_sequential_output
    res = func(*args, **kwargs)
          ^^^^^^^^^^^^^^^^^^^^^
  File "/lib/python3.12/site-packages/sklearn/utils/parallel.py", line 139, in __call__
    return self.function(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/lib/python3.12/site-packages/sklearn/ensemble/_forest.py", line 189, in _parallel_build_trees
    tree._fit(
  File "/lib/python3.12/site-packages/sklearn/tree/_classes.py", line 472, in _fit
    builder.build(self.tree_, X, y, sample_weight, missing_values_in_feature_mask)
  File "_tree.pyx", line 153, in sklearn.tree._tree.DepthFirstTreeBuilder.build
  File "_tree.pyx", line 268, in sklearn.tree._tree.DepthFirstTreeBuilder.build
  File "_tree.pyx", line 923, in sklearn.tree._tree.Tree._add_node
  File "_tree.pyx", line 892, in sklearn.tree._tree.Tree._resize_c
  File "_utils.pyx", line 29, in sklearn.tree._utils.safe_realloc
MemoryError: could not allocate 63832064 bytes

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

어떤 문제일까요?

추측으로는 대부분의 컬럼 내용이 다른데 이를 원핫 인코딩해서 데이터가 커진게 아닌가 싶어요

예를들어 1000개의 데이터가 다른데 이를 원핫인코딩하면 1000개의 컬럼이 생기고

이는 시험환경에서도 처리하기 어럽습니다.


원핫인코딩이 아닌 레이블 인코딩

또는 날씨 데이터라면 이를 파생변수로 변환등이 필요해요

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 2142073님.

“MemoryError”는 주로 컴퓨터의 메모리 부족으로 발생하는 오류입니다. 각종 데이터와 모델을 메모리에 저장하기 위해 많은 RAM이 필요할 수 있으며, 특히 대용량 데이터셋이나 복잡한 모델을 사용할 때 자주 발생합니다.

이러한 오류를 해결하기 위한 몇 가지 방법을 제안드립니다:

  1. 데이터셋 크기 줄이기: 샘플링 기법을 통해 사용하는 데이터의 양을 줄이면 메모리 사용량을 줄일 수 있습니다. 예를 들어 전체 데이터셋의 일부만 사용하는 방식으로 모델을 검증할 수 있습니다.

  2. 모델 복잡도 줄이기: RandomForest 클래스를 사용하는 경우에는 n_estimators를 줄이거나 max_depth를 설정하여 모델의 복잡도를 낮추어 메모리 사용을 줄일 수 있습니다.

  3. 메모리 해제: 작업이 끝난 객체를 삭제(dereference)하여 메모리를 해제할 수 있습니다. 예를 들어, del variable_name을 사용하여 더 이상 필요하지 않은 데이터 객체를 제거할 수 있습니다.

  4. 환경 제어: 몇 가지 최적화된 환경 설정 (swap 메모리 설정 등)을 통해 메모리 사용량을 조절할 수 있습니다.

용량 제한이 있는 시험 환경에서는 이와 같은 오류가 더 흔히 발생할 수 있습니다. 이러한 오류가 해결되지 않거나 더 많은 정보가 필요하시면 아래 유사한 질문 및 해결방법을 참조하시기 바랍니다:

  • 메모리 오류 관련 - 여기서는 fit 함수의 잘못된 데이터 사용과 관련하여 메모리 문제를 해결하기 위한 여러 조언을 제공한다고 합니다.
  • 에러 이유 - 데이터형의 일관성 문제에 대한 접근법을 설명하며, 메모리 문제 해결의 실마리를 제공할 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

작업형2 모의문제2에서 drop이랑 인코딩

0

18

1

인코딩을 다 꼭 해봐야하는지

0

24

2

안녕하세요? 강사님 질문있습니다.(인코딩관련)

0

56

2

이진분류에서 양성 클래스가 0일 때 평가 방법

0

45

2

원핫인코딩 전 train과 test 병합여부

0

49

2

수강기간 연장

0

60

2

29강 작업2형의 이상치 처리

0

64

2

수강기간 연장 문의드립니다!

0

64

2

9월에 실기출제기준 개정내역에 신설된부분

0

55

1

작업형2 모의문제2 결과값 관련 문의드립니다.

0

66

2

12회차 시험 실패 후 13회 도전 예정입니다.

0

54

1

random_state 값

0

71

2

강의 연장 문의 드립니다.

0

65

2

강의 연장 문의

0

60

2

오징어게임

0

68

1

object 컬럼이 여러 개인 경우 인코딩 전처리 방법

1

49

2

데이터 전처리 순서 관련

0

63

2

작업형2 모의문제 데이터 불러오기

0

62

2

강의 연장 부탁드립니다!

0

67

2

수강기간 연장 문의드립니다!

0

64

2

2회 기출유형(작업형1) Warning

0

78

2

describe()

0

61

2

수강기간 연장 문의

0

86

2

빅데이터분석기사 실기 인코딩

0

74

2