inflearn logo
강의

Course

Instructor

[Side Project After Work] Big Data Analysis Certification Practical Exam (Type 1, 2, 3)

7th Practice Exam Type (Task Type 2)

작업형 2 기출7회분에서

Resolved

62

jungessay

2 asked

0

안녕하세요

혹시 선형회귀모델에서 rmse 값이 가장 낮게 나왔어서 모델을 선택하고 실제 test 데이터를 예측하는데, 이 과정에서 80프로의 train으로 학습한 모델이잖아요..?

  1. 나중에 train 자체 100프로를 재학습시킨 후 test 예측하는게 더 올바른 것인지..

  2. 이 과정 없이 그동안 진행해온 부분으로 바로 test 예측하는게 좋은지 궁금해요!

python 머신러닝 빅데이터 pandas 빅데이터분석기사

Answer 2

0

roadmap

결론만 말씀드리면 100% 사용하는 것이 좋습니다.

단, 데이터에 따라 달라져 반드시 성능이 향상된다고 말할 순 없어요!

(혹시 코드가 익숙하시다면 크로스 밸리데이션, k-fold 기법도 추천합니다. 입문자의 경우 제외)

 

100% 사용할 경우

  • 단, 재학습해야 하므로 코드가 복잡해집니다.
    입문자의 경우 재학습 과정에서 실수할 가능성이 있어 심화 내용이라고 말씀드리고 싶네요!

왜 강조하지는 않고 있냐?

  • 시험을 위한 과정인데

  • 80% 학습해도 40점 구간에선 그동안 문제가 없었어요!

     

언제 꼭 필요할까?

최근 다중분류(11회) 문제에서 극단적인 불균형 데이터를 준 케이스가 있어요!

이럴 땐 100% 사용하는 것이 유리하다고 볼 수 있습니다.

 

 

 

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 아기고앵님.

선형 회귀 모델에서의 RMSE 값을 기반으로 모델을 선택한 후, 테스트 데이터를 예측하는 과정에 대한 질문을 주셨네요. 이에 대한 일반적인 방법론을 설명드리겠습니다.

  1. 100% Train 데이터로 재학습하는 방법:

    • 모델을 초기 개발할 때, 일반적으로 Train 데이터의 80%로 학습하고, 20%로 Cross-Validation을 통해 성능 평가합니다. 여기서 최적의 성능을 기록한 모델을 테스트 데이터에 적용합니다.
    • 이후, 최적의 모델을 찾았다면, 해당 모델을 Train 데이터 전체(100%)를 사용해서 다시 학습하는 것이 일반적으로 권장됩니다. 이렇게 하면 더 많은 데이터를 학습에 사용하는 것이기 때문에 예측 성능을 잠재적으로 향상시킬 수 있습니다.
  2. 바로 Test 예측 시:

    • 이미 교차 검증을 통해 모델의 일반화 성능을 확인했기 때문에, 이때 테스트 데이터 예측을 시도해 볼 수 있습니다. 다만, 이는 Risk를 수반할 수 있기 때문에 재학습을 통해 성능을 보장하는 방법을 권장드립니다.

이에 대한 자세한 흐름이나 추가적인 조언이 필요하신 경우, 더 많은 질문을 주시면 좋겠습니다. 아래 링크들은 실제로 유사한 상황에 대한 질문 및 다양한 대답을 제공하고 있으니 참고하시면 도움이 될 것입니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

뒤로가기 버튼 같은 것이 있나요?

0

14

1

강의 연장 문의

0

14

1

출력값 질문

0

24

2

수업노트가 어디에 있나요?

0

27

1

실기시험 제출관련

0

157

2

6.20 작업형 2 과적합

0

161

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

51

2

로지스틱회귀, 회귀

0

50

2

회귀 문제를 풀때 질문입니다.

0

58

1

불균형 처리 후 성능이 더 낮아졌다면,

0

63

2

실기 체험 제2유형 에러 문의

0

64

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

51

2

3번문제 등분산 가정

0

49

2

작업형3 target 형 변환 질문

0

35

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

38

3

원핫인코딩과 레이블 인코딩에서 concat

0

59

2

제2유형 질문입니다.

0

47

2

C()

0

44

2

작업형 2에서 strafity 적용 유무

0

52

2

수강 기간 연장 가능 여부 문의드립니다.

0

61

1

ols

0

44

2

2유형 작성관련 질문(일반 심화)

0

40

2

2유형 작성관련 질문

0

41

2

2유형 object컬럼 개수 다르면

0

48

2