Inflearn Community Q&A
asked
활성화함수와 손실함수에 대한 질문
Resolved
Written on
·
315
0
1. 은닉층에서 활성화함수로 sigmoid를 사용한 이유가 있나요?
그래디언스 소실문제로 은닉층에서 잘 사용하지 않는다고 하셨는데, 사용되어 질문합니다.
2. 손실함수로 mse 와 crossentropy 를 각각 어떤 경우에 사용하나요? crossentropy에 비해 mse가 유용한 측면은 어떤것이 있습니까?
Answer 1
1
네. 안녕하세요~.
1. relu activation function의 경우 0보다 작은 값으로 빠지면 0으로 값을 지정해버리게 되는데요. 이는 이미지의 많은 부분이 검은색으로 설정되어버리는 현상이 발생하는데 AutoEncoder의 경우 최종 output이 classification 예측값이 아니라 원본 이미지를 복원하는 형태로 진행되어야하기 때문에 이미지의 원본 정보를 좀더 안정적으로 담고있는 sigmoid를 사용하였습니다.
2. 분류문제의 경우 보통 mse보다 cross entropy를 많이 사용합니다. mse 대비 cross entropy의 장점에 대한 자세한 내용은 제가 예전에 블로그에 작성한 아래 글과
http://solarisailab.com/archives/2237
아래 링크를 참조하세요.
http://neuralnetworksanddeeplearning.com/chap3.html
mse는 상대적으로 분류문제 외에 다른 문제에도 범용적으로 사용될 수 있습니다.(예를 들어 autoencoder의 원본이미지의 reconstruction 등)
감사합니다.