작업형 2 기출7회분에서
안녕하세요
혹시 선형회귀모델에서 rmse 값이 가장 낮게 나왔어서 모델을 선택하고 실제 test 데이터를 예측하는데, 이 과정에서 80프로의 train으로 학습한 모델이잖아요..?
나중에 train 자체 100프로를 재학습시킨 후 test 예측하는게 더 올바른 것인지..
이 과정 없이 그동안 진행해온 부분으로 바로 test 예측하는게 좋은지 궁금해요!
답변 2
0
결론만 말씀드리면 100% 사용하는 것이 좋습니다.
단, 데이터에 따라 달라져 반드시 성능이 향상된다고 말할 순 없어요!
(혹시 코드가 익숙하시다면 크로스 밸리데이션, k-fold 기법도 추천합니다. 입문자의 경우 제외)
100% 사용할 경우
단, 재학습해야 하므로 코드가 복잡해집니다.
입문자의 경우 재학습 과정에서 실수할 가능성이 있어 심화 내용이라고 말씀드리고 싶네요!
왜 강조하지는 않고 있냐?
시험을 위한 과정인데
80% 학습해도 40점 구간에선 그동안 문제가 없었어요!
언제 꼭 필요할까?
최근 다중분류(11회) 문제에서 극단적인 불균형 데이터를 준 케이스가 있어요!
이럴 땐 100% 사용하는 것이 유리하다고 볼 수 있습니다.
0
안녕하세요, 인프런 AI 인턴입니다. 아기고앵님.
선형 회귀 모델에서의 RMSE 값을 기반으로 모델을 선택한 후, 테스트 데이터를 예측하는 과정에 대한 질문을 주셨네요. 이에 대한 일반적인 방법론을 설명드리겠습니다.
100% Train 데이터로 재학습하는 방법:
- 모델을 초기 개발할 때, 일반적으로 Train 데이터의 80%로 학습하고, 20%로 Cross-Validation을 통해 성능 평가합니다. 여기서 최적의 성능을 기록한 모델을 테스트 데이터에 적용합니다.
- 이후, 최적의 모델을 찾았다면, 해당 모델을 Train 데이터 전체(100%)를 사용해서 다시 학습하는 것이 일반적으로 권장됩니다. 이렇게 하면 더 많은 데이터를 학습에 사용하는 것이기 때문에 예측 성능을 잠재적으로 향상시킬 수 있습니다.
- 모델을 초기 개발할 때, 일반적으로 Train 데이터의 80%로 학습하고, 20%로 Cross-Validation을 통해 성능 평가합니다. 여기서 최적의 성능을 기록한 모델을 테스트 데이터에 적용합니다.
바로 Test 예측 시:
- 이미 교차 검증을 통해 모델의 일반화 성능을 확인했기 때문에, 이때 테스트 데이터 예측을 시도해 볼 수 있습니다. 다만, 이는 Risk를 수반할 수 있기 때문에 재학습을 통해 성능을 보장하는 방법을 권장드립니다.
- 이미 교차 검증을 통해 모델의 일반화 성능을 확인했기 때문에, 이때 테스트 데이터 예측을 시도해 볼 수 있습니다. 다만, 이는 Risk를 수반할 수 있기 때문에 재학습을 통해 성능을 보장하는 방법을 권장드립니다.
이에 대한 자세한 흐름이나 추가적인 조언이 필요하신 경우, 더 많은 질문을 주시면 좋겠습니다. 아래 링크들은 실제로 유사한 상황에 대한 질문 및 다양한 대답을 제공하고 있으니 참고하시면 도움이 될 것입니다:
- 5회 기출유형 (작업형2) 강의 코드 질문 - Train 데이터 사용과 General 모델의 적용에 대한 자세한 설명입니다.
- 4회 작업형 2번 풀이 질문있습니다. - 실제 코드 실행과 검증 과정의 중요성을 다루고 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
수강 연장 문의드립니다.
0
19
2
강의 연장 문의
0
23
2
수강 신청 연장 문의드립니다.
0
32
2
작업형 1번문제... 환경관련
0
29
2
12회 기출은 언제 업데이트 될까요??
0
36
2
8/6 작성한 연장문의 질문글에 대한 재요청
0
38
2
수강기간 연장 문의
0
38
2
수강기간 연장문의
0
37
2
수강기간 연장 요청 문의드립니다
0
38
2
수강 기간 연장 문의
0
47
2
수강연장 가능 문의 (기간 약 한달반)
0
60
2
수강기간 연장 가능할까요 선생님
0
74
2
Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.
0
56
3
수강연장요청 문의
0
90
2
아무래도 다음 시험 연장은 어렵겠죠?
0
108
2
빅분기 12회 결과 관련 문의
0
112
1
책이랑 강의랑 순서나 예제가 다른것 같네요
0
81
2
수강연장 문의
0
105
2
재검토 요청 방법 좀 알려주셔요...-.-;;
0
106
2
12회 실기 질문(작업형 2)
0
92
2
뒤로가기 버튼 같은 것이 있나요?
0
66
1
강의 연장 문의
0
99
2
출력값 질문
0
72
2
수업노트가 어디에 있나요?
0
63
1





