inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

7회 기출유형(작업형2)

작업형 2 기출7회분에서

해결된 질문

70

아기고앵

작성한 질문수 2

0

안녕하세요

혹시 선형회귀모델에서 rmse 값이 가장 낮게 나왔어서 모델을 선택하고 실제 test 데이터를 예측하는데, 이 과정에서 80프로의 train으로 학습한 모델이잖아요..?

  1. 나중에 train 자체 100프로를 재학습시킨 후 test 예측하는게 더 올바른 것인지..

  2. 이 과정 없이 그동안 진행해온 부분으로 바로 test 예측하는게 좋은지 궁금해요!

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

결론만 말씀드리면 100% 사용하는 것이 좋습니다.

단, 데이터에 따라 달라져 반드시 성능이 향상된다고 말할 순 없어요!

(혹시 코드가 익숙하시다면 크로스 밸리데이션, k-fold 기법도 추천합니다. 입문자의 경우 제외)

 

100% 사용할 경우

  • 단, 재학습해야 하므로 코드가 복잡해집니다.
    입문자의 경우 재학습 과정에서 실수할 가능성이 있어 심화 내용이라고 말씀드리고 싶네요!

왜 강조하지는 않고 있냐?

  • 시험을 위한 과정인데

  • 80% 학습해도 40점 구간에선 그동안 문제가 없었어요!

     

언제 꼭 필요할까?

최근 다중분류(11회) 문제에서 극단적인 불균형 데이터를 준 케이스가 있어요!

이럴 땐 100% 사용하는 것이 유리하다고 볼 수 있습니다.

 

 

 

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 아기고앵님.

선형 회귀 모델에서의 RMSE 값을 기반으로 모델을 선택한 후, 테스트 데이터를 예측하는 과정에 대한 질문을 주셨네요. 이에 대한 일반적인 방법론을 설명드리겠습니다.

  1. 100% Train 데이터로 재학습하는 방법:

    • 모델을 초기 개발할 때, 일반적으로 Train 데이터의 80%로 학습하고, 20%로 Cross-Validation을 통해 성능 평가합니다. 여기서 최적의 성능을 기록한 모델을 테스트 데이터에 적용합니다.
    • 이후, 최적의 모델을 찾았다면, 해당 모델을 Train 데이터 전체(100%)를 사용해서 다시 학습하는 것이 일반적으로 권장됩니다. 이렇게 하면 더 많은 데이터를 학습에 사용하는 것이기 때문에 예측 성능을 잠재적으로 향상시킬 수 있습니다.
  2. 바로 Test 예측 시:

    • 이미 교차 검증을 통해 모델의 일반화 성능을 확인했기 때문에, 이때 테스트 데이터 예측을 시도해 볼 수 있습니다. 다만, 이는 Risk를 수반할 수 있기 때문에 재학습을 통해 성능을 보장하는 방법을 권장드립니다.

이에 대한 자세한 흐름이나 추가적인 조언이 필요하신 경우, 더 많은 질문을 주시면 좋겠습니다. 아래 링크들은 실제로 유사한 상황에 대한 질문 및 다양한 대답을 제공하고 있으니 참고하시면 도움이 될 것입니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

수강 연장 문의드립니다.

0

19

2

강의 연장 문의

0

23

2

수강 신청 연장 문의드립니다.

0

32

2

작업형 1번문제... 환경관련

0

29

2

12회 기출은 언제 업데이트 될까요??

0

36

2

8/6 작성한 연장문의 질문글에 대한 재요청

0

38

2

수강기간 연장 문의

0

38

2

수강기간 연장문의

0

37

2

수강기간 연장 요청 문의드립니다

0

38

2

수강 기간 연장 문의

0

47

2

수강연장 가능 문의 (기간 약 한달반)

0

60

2

수강기간 연장 가능할까요 선생님

0

74

2

Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.

0

56

3

수강연장요청 문의

0

90

2

아무래도 다음 시험 연장은 어렵겠죠?

0

108

2

빅분기 12회 결과 관련 문의

0

112

1

책이랑 강의랑 순서나 예제가 다른것 같네요

0

81

2

수강연장 문의

0

105

2

재검토 요청 방법 좀 알려주셔요...-.-;;

0

106

2

12회 실기 질문(작업형 2)

0

92

2

뒤로가기 버튼 같은 것이 있나요?

0

66

1

강의 연장 문의

0

99

2

출력값 질문

0

72

2

수업노트가 어디에 있나요?

0

63

1