batch normalization과 standard scaler에 관한 질문입니다

Question

안녕하세요, batch normalization과 standard scaler의 사용에 관해 질문드립니다!   우선, batch normalization은 학습 과정에서 각 배치 단위 별로 데이터가 다양한 분포를 가지더라도 각 배치별로 평균과 분산을 이용해 정규화 하는 것을 뜻하고, 결국 평균 0, 분산 1로 데이터의 분포를 조정하는 과정으로 이해를 하였습니다.   또한, 이전에 학습하였던 standard scaler 역시 전처리 과정에서 평균 0, 분산 1로 데이터를 조정하는 역할을 한다고 이해하였는데요   batch normalization과 standard scaler의 작동 방식 자체가 조금 유사하게 느껴지는데, 이 둘은 각각 전처리 과정과 학습 과정에서 따로 사용되는 것으로 보면 되는 것인가요??

잔재미코딩 DaveLee · Answer

안녕하세요. 답변도우미입니다. Batch Normalization과 Standard Scaler는 비슷한 작업을 수행하지만 전처리 과정과 학습 과정에서 각각 다른 목적으로 사용됩니다. Standard Scaler는 전처리 과정에서 사용됩니다. 이는 데이터의 평균과 표준편차를 계산하여 데이터를 중심으로 정규화하는 과정입니다. 이렇게 전처리를 수행하면 모델이 더 빠르게 수렴하고, 예측 성능이 더 좋아질 수 있습니다. Batch Normalization은 학습 과정에서 사용됩니다. 이는 각 미니 배치의 평균과 표준편차를 계산하여, 데이터를 정규화하는 과정입니다. 이렇게 학습 과정에서 Batch Normalization을 사용하면, Gradient Vanishing 문제를 해결하고, 학습 속도를 높이는 효과를 얻을 수 있습니다. 따라서 Standard Scaler와 Batch Normalization은 각각 다른 목적으로 사용되며, 전처리 과정과 학습 과정에서 각각 사용됩니다 감사합니다.