inflearn logo
강의

Course

Instructor

[Side Project After Work] Big Data Analysis Certification Practical Exam (Type 1, 2, 3)

11th Previous Exam Type (Task Type 2)

기출 11회 작업형 2_전체 데이터 학습 여부

Resolved

49

happy4457

1 asked

0

영상 13:40 지점에서 데이터의 크기가 작으면 train, validation 데이터를 분리 시키지 않고 train 데이터 전체로 모델 학습시키라고 알려주셨는데, train 데이터의 크기가 어느정도 될때 이 방법을 사용하면 좋은지 기준이 있나요?

python 머신러닝 빅데이터 pandas 빅데이터분석기사

Answer 2

0

roadmap

명확한 기준은 없지만, 실무에서는 K-fold 크로스밸리데이션라는 방식을 쓰는데 코드가 복잡해지는 단점이 있어요.


분류 문제 - 클래스가 불균형이다 -> 전체데이터 학습

나머지는 하면 좋도 안해도 괜찮았습니다.

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. happy4457님 질문에 대한 답변을 도와드리겠습니다.

데이터 크기에 따른 모델 학습 전략

기본적으로, 학습 데이터의 크기가 충분히 크다면 train 데이터와 validation 데이터를 분리하는 것이 일반적입니다. 이는 모델의 성능을 평가하고 튜닝하기 위한 과정에서 유용합니다.

하지만, 데이터의 크기가 작을 때는 모든 데이터가 훈련에 사용되어야 할 수도 있는데요, 일반적인 기준은 다음과 같습니다:

  • 데이터가 충분히 크지 않을 때: 예를 들어, 몇 백 개의 데이터 포인트 이하라면, 이미 모든 데이터를 학습에 사용하는 것이 적절할 수 있습니다. 이렇게 하면 모델이 가능한 한 많은 정보를 학습할 수 있습니다.

  • 교차 검증 사용: 데이터가 작을 때 교차 검증(cross-validation)을 통해 성능을 평가하는 방법도 있습니다. 이렇게 하면 모델의 일반화 성능을 보다 정확하게 평가할 수 있습니다.

추가적인 팁

  • 데이터의 특성: 데이터 자체의 복잡성이나 다양성도 중요한 요소입니다. 데이터 내의 정보가 충분히 다양하다면, 더 적은 데이터로도 보다 효과적으로 학습할 수 있습니다.

happy4457님의 질문에 대해 보다 구체적인 답변을 드리기 위해 기존 관련 답변을 참고하셨으면 합니다. 유사한 상황에 대해 지식 공유자님께서 다음과 같은 조언을 주셨습니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

빅분기 12회 결과 관련 문의

0

11

0

책이랑 강의랑 순서나 예제가 다른것 같네요

0

45

2

수강연장 문의

0

57

1

재검토 요청 방법 좀 알려주셔요...-.-;;

0

80

2

12회 실기 질문(작업형 2)

0

65

2

뒤로가기 버튼 같은 것이 있나요?

0

49

1

강의 연장 문의

0

68

2

출력값 질문

0

47

2

수업노트가 어디에 있나요?

0

44

1

실기시험 제출관련

0

207

3

6.20 작업형 2 과적합

0

198

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

68

2

로지스틱회귀, 회귀

0

59

2

회귀 문제를 풀때 질문입니다.

0

65

1

불균형 처리 후 성능이 더 낮아졌다면,

0

74

2

실기 체험 제2유형 에러 문의

0

74

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

61

2

3번문제 등분산 가정

0

53

2

작업형3 target 형 변환 질문

0

44

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

51

3

원핫인코딩과 레이블 인코딩에서 concat

0

68

2

제2유형 질문입니다.

0

51

2

C()

0

51

2

작업형 2에서 strafity 적용 유무

0

62

2