OOF Prediction 개념에 대해서

Question

안녕하세요 OOF Prediction에 대한 개념을 제가 제대로 이해했는지 궁금해서 질문을 올려봅니다 1. OOF Prediction이라는 것은 K-Fold를 통해서 학습 데이터셋을 학습 세트와 검증 세트로 나누고, 검증 세트은 버리고 학습 세트만 사용하여 K번씩 각기 다른 종류의 모델들 혹은 동일한 종류의 모델을 생성한 다음 생성된 K개의 모델을 동일한 테스트 데이터에 적용시켜서 예측값을 내놓은 뒤 그 예측값을 평균내는 방법인가요? 2. 인터넷에 검색해보면 OOF Prediction말고도 OOF ensemble이라는 말도 있던데, OOF ensemble은 학습 폴드세트로 학습된 K개 모델들이 서로 다른 OOF Prediction을 말하는 건가요?(2번 질문이 수업 내용에 벗어난거라면 죄송합니다)

권 철민 · Answer

안녕하십니까, 1. 네 정확히 맞습니다. k fold 방식으로 학습한 모델로 여러번 예측한 뒤 그 예측값을 평균하는 방식입니다. 2. 보통은 oof ensemble을 stacking이라고 합니다. 이게 OOF Prediction하고 다른게, K fold 방식으로 학습해서 validation으로 예측을 하는데, 이 예측 결과를 기반으로 별도의 학습 데이터를 다시 만든 다음, 이 학습데이터로 또 학습하여 예측을 합니다. 인터넷 검색을 해보니 아래에 보다 자세하게 설명이 되어 있습니다(물론 파이썬 머신러닝 완벽 가이드 4장 분류의 마지막 부분에 더 자세하게 설명은 되어 있습니다) https://ekdud7667.tistory.com/entry/Ensemble-%EA%B0%9C%EC%9A%94Bagging-Boosting-Stacking 감사합니다.