classification stacking 질문입니다

Question

안녕하세요, 스태킹 관련 강의를 들으면서 의문점이 생겨 질문을 남깁니다. diagram으로 잘 설명해주셔서 전반적으로 cross validation stacking이 어떻게 쌓이고 학습하는지 이해를 한 것 같습니다. 1. 스태킹 모델의 base는 이진 분류인지가 궁금합니다. 즉 모든 알고리즘들이 0 또는 1의 결과를 내는 건가요? multi-label classification인 경우에도 스태킹 모델을 사용 할 수 있는 건지 궁금합니다. 2. 이어서 원본 학습데이터의 feature들은 stacking 시 어떻게 되는지 궁금합니다. [예를 들어, (개별모델1 예측치 column, 개별모델2 예측치 column, 개별모델3 예측치 column, 개별모델4 예측치 column,) 이와 같이 4개로 stacking]  meta model이 학습 하는 데이터의 feature(column)가 개별 모델의 원본 학습데이터의 예측치라면 원본 데이터의 feature들이 최종 결과값에 어떻게 반영되는지 이해가 잘 되지 않습니다. meta model의 학습 데이터는 각 모델이 결과로낸 predict proba로 구성되어 있는 건가요? 아니면 0 or 1로 구성되어 있나요? 제가 궁금한 부분을 말로 표현하기가 저도 어려운데... meta model이 학습하려는 데이터가 개별 모델의 결과값인 0 or 1의 값으로 혹은 각 feature에 따른 확률값의 데이터라면 어떻게 원본 학습 데이터의 각  feature들을 대변하는지 궁금합니다.

권 철민 · Answer

안녕하십니까, 1. 개인적으로는 Multi-label Classification에 Stacking을 적용해본 사례는 없습니다만 (워낙 classification에 이진 분류 형태가 많아서 그렇기도 합니다만,) Multi-label Classification에 Stacking 역시 적용 가능합니다. 2. Stacking은 일반적으로 feature들을 학습한다기 보다는 예측(답)의 패턴을 학습합니다. 그러니까 공부잘하는 사람이 여러 문제들과 답을 보면서 예측하는 학습(훈련)을 한다기 보다는 여러명 공부 잘하는 사람들(즉 base model)이 써낸 답들을 보고 이들 답의 패턴을 최종적으로 (한 사람이, 즉 메타 모델) 학습하여 예측하는 방식입니다. 때문에 기존에 feature들은 이미 base model이 학습하는 답들을 만들어 내는것에 한정됩니다. (피처를 학습하지 않고 여러 경우의 답들을 학습합니다) 감사합니다.