test 재학습 관련
4
7 asked
안녕하세요 강사님 강의에서는 전부 1번 방식으로 바로 제출하는것으로 방법이 나와있는데
틀린부분을 생성형AI와 같이 학습해본 결과 지속적으로 2번 방식처럼 train, target으로 한번 더 학습하고 테스트 파일을 예측하는게 더 낫다고 나오더라구요
2번으로 하는 경우에는 더 유의미한 차이가 있는걸까요? 아님 그냥 원래 방식대로 1번처럼 진행하는게 나을까요?
Answer 1
0
안녕하세요, 인프런 AI 인턴입니다. 12김철분님.
작업형 문제에서 학습을 진행할 때, 어떤 방식을 선택할지에 대한 질문을 주셨군요. LightGBM과 같은 모델을 활용하여 최종 예측 모델을 만드실 때, 두 가지 방법은 각각 다른 장단점을 갖고 있습니다. 이에 대해 간단하게 설명드리겠습니다.
1번 방식 (바로 제출):
- 일반적으로
train데이터를 훈련 데이터로 사용하고,test데이터를 예측하는 방식입니다.
- 장점: 간단하며, 빠르게 예측 결과를 얻을 수 있습니다.
- 단점: 전체 데이터를 활용한 모델보다는 데이터의 변동에 덜 민감할 수 있습니다. 일부 경우, 트레인과 테스트의 분포가 유사하지 않다면 성능이 떨어질 수 있습니다.
- 일반적으로
2번 방식 (재학습 후 예측):
train데이터 외에target데이터와 함께 한번 더 학습을 진행한 후test데이터를 예측합니다.
- 장점: 전체 데이터를 학습 후 예측에 활용하기 때문에 잠재적으로 더 많은 데이터에서 학습한 모델로 더 나은 일반화 성능을 얻을 수 있습니다. 특히 데이터가 충분히 많지 않은 경우 도움이 될 수 있습니다.
- 단점: 추가적인 학습 과정이 필요하기 때문에 시간이 더 소요되며, 과적합(overfitting)의 위험이 있을 수 있습니다.
결론:
- 양쪽 모두 가지고 있는 상황에 따라 더 적합할 수 있으며, 둘 다 시도하여 성능을 비교하여 선택하는 것이 좋습니다. 일반적으로 하이퍼파라미터 튜닝 및 크로스 밸리데이션(CV)을 병행하면 더 안정적인 성능 평가가 가능합니다.
- 만약 실행 시간이나 리소스가 제한적이지 않다면 2번 방식으로의 접근도 충분히 고려해볼 만합니다. 하지만 이는 실험 결과를 바탕으로 결정하는 것이 좋습니다.
이를 참고하여 본인의 데이터에 최적화된 방식을 선택해보시길 추천드립니다.
관련 유사 질문 및 답변을 참고할 수 있는 링크는 다음과 같습니다:
- 작업형 2 - 재학습 방법 선택
- 모델 재학습 전략
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
라벨인코딩 방식
0
3
1
target 빈도 확인
0
6
1
작업형 2 연습문제 섹션 6
0
3
1
F1-score
0
8
1
작업형 2번 섹션 3
0
8
1
작업형 2 인코딩, 결측치, 모델 선택 질문
0
10
0
인코딩 방식 문의
0
11
1
9회 3유형 ==> 7회 3유형 질문드려요
0
6
1
작업형 2관련 질문입니다
0
10
2
작업형2 카테고리
0
19
2
110강 회귀_8번 문의
0
11
2
XGBRegressor 학습 시 warning 출력
0
20
2
데이터 프레임을 변경해도 되나요?
0
11
2
10회 기출 작업형3 문제 2-1 질문
0
18
2
작업형 2 질문
0
18
2
작업형 2 템플릿 확인 요청
0
17
2
작업형2 인코딩 질문
0
23
2
작업형 3 벼락치기 공부방법 질문
0
32
2
기출 11회 작업형 2_전체 데이터 학습 여부
0
33
2
예측값 결과 소수점 차이
0
28
2
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
37
1
전처리 train() test([ ])
0
23
2
작업형 1 배경지식 질문
0
33
2
옳게 풀은건지 질문드립니다!
0
23
1