선생님, 여러 머신러닝 모델을 결합하는 다른 방법에 대해 질문있습니다.

안녕하십니까,

쿠폰을 잘 사용하신다니 저도 기분이 좋군요 ^^

말씀하신 내용은 굉장히 좋은 아이디어 같군요.

보통은 분류 레이블 유형이 다양하면 꼭 성능이 잘 안나오는 소수의 레이블들이 있습니다. 이게 해당 분류 레이블 별로 학습 데이터가 많지 않아서 그런 경우가 있고, 다른 분류 레이블과 비슷한 피처들로 구성되어 있어서 아예 모델이 헷갈려서(?) 성능이 안나오는 경우가 있습니다.

제가 말씀하신 첫번째 방식과 비슷한 방식으로 옛날에 함 모델을 적용해 본적이 있습니다(말씀하신 내용과 완전히 동일하진 않을 수 있습니다).

먼저 양성/음성을 먼저 판단하고 이후에 양성인 경우 질병의 유형을 판단하는 모델을 그렇게 함 구성해 보았는데,

양성/음성을 판단 및 양성인 경우 질병 유형을 판단하는 모델을 단 하나로 만들수는 없었습니다. 물론 그렇게 할수도 있었습니다. 양성이 1, 음성이 0, 그리고 질병 유형을 A, B, C, D, E, F, G, H 그리고 질병이 아닌 경우 Z라고 하면 레이블을 (1, A), (1, B), (1, C), (1, D), (1, E), (1, F), (1, G), (1, H) 그리고 (0, Z)로 하면 됩니다만 이건 질병 유형을 판단하는 모델과 다를 바가 없어서...

그리서 먼저 전체 데이터로 양성/음성 모델을 학습 시키고, 다음에 질병 데이터로 질병 분류 모델을 학습 시키고, 다음에 예측 시에는 먼저 양성/음성 모델을 통과 시키고, 다음에 양성인 경우에 질병 분류 모델을 통과 시켜서 테스트를 해보았는데 결과적으로 모델 성능이 향상되지는 않았습니다(기억에 약간 더 나빠졌던것 같습니다)

좀 설명이 길어졌는데, 요약 드리면 특정 레이블의 경우 모델의 성능이 안나오는 경우가 양성/음성을 구분 못해서 문제가 아니라, 많은 레이블 유형을 가진 데이터 세트일 경우 특정 레이블로 학습 데이터가 작고, 비슷한 피처들로 구성된 다른 레이블과 헷갈리기 쉬운 데이터 특성을 가지고 있기 때문에 성능이 저하됩니다.

그렇지 않고 개별 레이블 데이터로 학습 데이터도 균일하게 많이 있고, 피처들의 특성도 독특하게 분포되어 있다면 아무리 레이블 유형이 많더라도 머신러닝 모델 성능은 좋을 수 밖에 없습니다. 결론적으로 개별 레이블 특성이 문제가 있다면 아무리 그룹화를 하더라도 최종적으로 개별 레이블을 예측하는 모델 성능이 좋아 질 수 없기 때문에 전체적으로 성능 향상이 이뤄지기 어렵다는게 제 생각입니다.

감사합니다.