inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

7회 기출유형(작업형2)

작업형 2 기출7회분에서

해결된 질문

62

아기고앵

작성한 질문수 2

0

안녕하세요

혹시 선형회귀모델에서 rmse 값이 가장 낮게 나왔어서 모델을 선택하고 실제 test 데이터를 예측하는데, 이 과정에서 80프로의 train으로 학습한 모델이잖아요..?

  1. 나중에 train 자체 100프로를 재학습시킨 후 test 예측하는게 더 올바른 것인지..

  2. 이 과정 없이 그동안 진행해온 부분으로 바로 test 예측하는게 좋은지 궁금해요!

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

결론만 말씀드리면 100% 사용하는 것이 좋습니다.

단, 데이터에 따라 달라져 반드시 성능이 향상된다고 말할 순 없어요!

(혹시 코드가 익숙하시다면 크로스 밸리데이션, k-fold 기법도 추천합니다. 입문자의 경우 제외)

 

100% 사용할 경우

  • 단, 재학습해야 하므로 코드가 복잡해집니다.
    입문자의 경우 재학습 과정에서 실수할 가능성이 있어 심화 내용이라고 말씀드리고 싶네요!

왜 강조하지는 않고 있냐?

  • 시험을 위한 과정인데

  • 80% 학습해도 40점 구간에선 그동안 문제가 없었어요!

     

언제 꼭 필요할까?

최근 다중분류(11회) 문제에서 극단적인 불균형 데이터를 준 케이스가 있어요!

이럴 땐 100% 사용하는 것이 유리하다고 볼 수 있습니다.

 

 

 

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 아기고앵님.

선형 회귀 모델에서의 RMSE 값을 기반으로 모델을 선택한 후, 테스트 데이터를 예측하는 과정에 대한 질문을 주셨네요. 이에 대한 일반적인 방법론을 설명드리겠습니다.

  1. 100% Train 데이터로 재학습하는 방법:

    • 모델을 초기 개발할 때, 일반적으로 Train 데이터의 80%로 학습하고, 20%로 Cross-Validation을 통해 성능 평가합니다. 여기서 최적의 성능을 기록한 모델을 테스트 데이터에 적용합니다.
    • 이후, 최적의 모델을 찾았다면, 해당 모델을 Train 데이터 전체(100%)를 사용해서 다시 학습하는 것이 일반적으로 권장됩니다. 이렇게 하면 더 많은 데이터를 학습에 사용하는 것이기 때문에 예측 성능을 잠재적으로 향상시킬 수 있습니다.
  2. 바로 Test 예측 시:

    • 이미 교차 검증을 통해 모델의 일반화 성능을 확인했기 때문에, 이때 테스트 데이터 예측을 시도해 볼 수 있습니다. 다만, 이는 Risk를 수반할 수 있기 때문에 재학습을 통해 성능을 보장하는 방법을 권장드립니다.

이에 대한 자세한 흐름이나 추가적인 조언이 필요하신 경우, 더 많은 질문을 주시면 좋겠습니다. 아래 링크들은 실제로 유사한 상황에 대한 질문 및 다양한 대답을 제공하고 있으니 참고하시면 도움이 될 것입니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

수업노트가 어디에 있나요?

0

12

1

실기시험 제출관련

0

142

2

6.20 작업형 2 과적합

0

150

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

47

2

로지스틱회귀, 회귀

0

47

2

회귀 문제를 풀때 질문입니다.

0

53

1

불균형 처리 후 성능이 더 낮아졌다면,

0

61

2

실기 체험 제2유형 에러 문의

0

61

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

48

2

3번문제 등분산 가정

0

46

2

작업형3 target 형 변환 질문

0

34

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

36

3

원핫인코딩과 레이블 인코딩에서 concat

0

58

2

제2유형 질문입니다.

0

46

2

C()

0

44

2

작업형 2에서 strafity 적용 유무

0

51

2

수강 기간 연장 가능 여부 문의드립니다.

0

59

1

ols

0

43

2

2유형 작성관련 질문(일반 심화)

0

39

2

2유형 작성관련 질문

0

41

2

2유형 object컬럼 개수 다르면

0

48

2

코딩팡질문이요ㅠㅠ

0

45

2

관찰값과 기대값의 개념이 헷갈립니다.

0

25

2

작업형2 ID 컬럼 삭제 질문

0

45

2