타겟값의 로그변환에 대해서

안녕하십니까,

보통 타겟값에 로그 변환을 취하는 이유는 타겟값의 분포가 롱테일(long tail)형태로 불균일할 때 많이 사용합니다. 즉 회귀예측에서 타겟값이 평균값보다 아주 높은 값들이 일정 수준 존재할 때 이들에 대한 영향도를 모델에서 줄이기 위해 사용합니다.

따라서 학습 모델을 로그 변환된 타겟값으로 학습을 시키고, 이렇게 학습된 모델을 기반으로 예측을 한 다음에 (이때 예측된 값은 로그가 적용된 값) 이 예측값을 지수변환하여 최종 예측값을 얻는 방식입니다.

질문하신...

로그값끼리 단순오차를 비교하면 평균오차2%대, 최대오차 4%대로 아주 좋은 결과가 나옵니다 ㅎ

=> 로그 변환된 타겟값은 보다 정규 분포에 가까운 형태가 되므로 이건 당연히 오차의 평균과 분산이 좋을 수 밖에 없기에 이 결과로 기준으로 해서 비교 하시면 안됩니다.

로그 변환을 하여 하여 모델을 학습 시키는 이유는 학습 모델의 예측값이 좀더 표준 정규 분포 형태에 가깝게 모델을 유도하는 방식이지만 그렇다고 예측된 값이 로그 변환된 값 자체 정도의 정규 분포 형태를 기대하기는 어렵습니다. 때문에 최대 오차등을 더 줄이는 방식은 앞에도 말씀드린 대로 로그 변환하여 학습 모델을 만든후 예측값을 다시 지수 변환하는 방식과 같은 방법을 적용하는 외에는 별다른 방식을 추천해 드리기는 어려울 것 같습니다.

다만 예측 오류가 너무 크게 나는 데이터의 경우, 학습 데이터 또는 예측 데이터가 현실에서는 잘 발생하지 않는 불필요한 데이터가 섞여있는지등을 판단해 보시거나..(이 경우 해당 데이터는 학습이나 예측에서 제외를 한다거나)

제일 좋은 방식은 좀 더 다양한 피처 엔지니어링 방식을 적용해 보는것이 좋을 것 같습니다. 다양한 피처 엔지니어링은 본 강의에서 많은 시간을 들여서 설명 드리고 있으니 강의를 들으시면 적절한 방식을 적용해 보실 수 있을 것입니다.

감사합니다.