인프런 커뮤니티 질문&답변

안녕하십니까,

머신러닝/딥러닝은 학습 데이터를 기반으로 결과를 지속적으로 학습을 합니다. 그런데 학습 데이터만을 기반으로 하다보면 너무 학습 데이터에 최적화된 모델이 만들어집니다. 때문에 학습데이터에서는 예측 효율이 뛰어난 모델이지만 학습 데이터가 아닌 다른 데이터 세트에서는 오히려 예측효율이 많이 떨어지는 현상이 나타날 수 있는데, 이것을 오버피팅이라고 합니다.

이렇게 학습데이터에 너무 최적화 되어서 발생하는 오버 피팅 문제를 해결하기 위한 여러가지 방법이 있는데 그중 대표적인 방법이 규제(Regularization) 입니다. 규제에는 L2 규제, L1 규제가 있습니다. 규제라는 이름이 의미하듯이 학습의 예측 오류가 최소화 되는 방향성을 어느정도 규제(방해?)를 합니다.

이처럼 약간의 규제를 하기위해 최적 Loss 함수가 규제를 적용하여 다시 만들어 집니다. L2 Regularization은 기존 최적 Loss함수에 ㅅ||W||^2 을 더해서 만들어 집니다.

감사합니다.