차원축소 fit & transform 관련 질문드립니다!!

Question

안녕하세요 선생님. 개인적인 프로젝트를 진행하며 차원축소나 스케일링시 fit/transform과 관련하여 궁금한 점이 생겨 오랜만에 질문드립니다. 선생님께서 쓰신 책의 스케일링 파트에서(131p) 가능하면 스케일링 후 split을 하고 만약 그게 여의치 않다면 학습 데이터로 fit 후 테스트 데이터를 transform 하라고 하셨는데, 여기서 말하신 여의치 않은 상황이 어떤 경우가 있을지 감이 잘 안잡혀 알고 싶습니다. 프로젝트를 하며 전체 데이터에 대하여 차원축소 후 train_test_split 진행할 때와 split 진행 후 차원축소를 train 데이터에 fit하여 진행하였을 때 모델의 정확도 차이가 유의미하게 발생하는데(split 후 차원축소 시 오버 피팅처럼 성능이 나타남), 그 이유는 무엇인지, 둘 중에 높은 성능을 보이는 방향으로 모델을 제작해도 문제가 없는 것인지 궁금합니다.

권 철민 · Answer

안녕하십니까, 반갑습니다. 그러고보니 간만에 질문 주신것 같군요. ^^ 선생님께서 쓰신 책의 스케일링 파트에서(131p) 가능하면 스케일링 후 split을 하고 만약 그게 여의치 않다면 학습 데이터로 fit 후 테스트 데이터를 transform 하라고 하셨는데, 여기서 말하신 여의치 않은 상황이 어떤 경우가 있을지 감이 잘 안잡혀 알고 싶습니다. => 테스트 데이터가 실시간으로 들어올 때는 해당 데이터를 미리 스케일링 할 수가 없습니다. 그러니까 배치 데이터로 전체 데이터가 되어 있고, 이를 기반으로 테스트 데이터를 미리 쪼개는 경우가 아니라 실시간으로 데이터가 들어오는 경우라면 미리 스케일링할 수가 없기 때문에 학습 데이터로 fit() 한 scaler객체를 이용해서 테스트 데이터를 transform() 해야 합니다. 프로젝트를 하며 전체 데이터에 대하여 차원축소 후 train_test_split 진행할 때와 split 진행 후 차원축소를 train 데이터에 fit하여 진행하였을 때 모델의 정확도 차이가 유의미하게 발생하는데(split 후 차원축소 시 오버 피팅처럼 성능이 나타남), 그 이유는 무엇인지, 둘 중에 높은 성능을 보이는 방향으로 모델을 제작해도 문제가 없는 것인지 궁금합니다. => 두개가 유의미한 차이가 나서는 안됩니다. 뭔가 잘못 변환된 것 같습니다. 학습 데이터로 fit()한 PCA 객체를 이용해서 테스트 데이터를 transform()했는지 다시 한번 확인해 주십시요. 그게 아니라면 전체 데이터가 너무 작아서 서로 다르게 분할을 적용하지는 않았는지(가령 random_state를 다르게 줬다거나)를 확인해 보시기 바랍니다. 감사합니다.