활성화함수와 손실함수에 대한 질문
1. 은닉층에서 활성화함수로 sigmoid를 사용한 이유가 있나요?
그래디언스 소실문제로 은닉층에서 잘 사용하지 않는다고 하셨는데, 사용되어 질문합니다.
2. 손실함수로 mse 와 crossentropy 를 각각 어떤 경우에 사용하나요? crossentropy에 비해 mse가 유용한 측면은 어떤것이 있습니까?
답변 1
1
네. 안녕하세요~.
1. relu activation function의 경우 0보다 작은 값으로 빠지면 0으로 값을 지정해버리게 되는데요. 이는 이미지의 많은 부분이 검은색으로 설정되어버리는 현상이 발생하는데 AutoEncoder의 경우 최종 output이 classification 예측값이 아니라 원본 이미지를 복원하는 형태로 진행되어야하기 때문에 이미지의 원본 정보를 좀더 안정적으로 담고있는 sigmoid를 사용하였습니다.
2. 분류문제의 경우 보통 mse보다 cross entropy를 많이 사용합니다. mse 대비 cross entropy의 장점에 대한 자세한 내용은 제가 예전에 블로그에 작성한 아래 글과
http://solarisailab.com/archives/2237
아래 링크를 참조하세요.
http://neuralnetworksanddeeplearning.com/chap3.html
mse는 상대적으로 분류문제 외에 다른 문제에도 범용적으로 사용될 수 있습니다.(예를 들어 autoencoder의 원본이미지의 reconstruction 등)
감사합니다.
22강 코드 call()메서드 is_training -> model(x,False)로 호출시 밸류에러 참고
0
48
1
선형 회귀 모델에 대해서 질문 있습니다
0
253
2
tf.keras.model.reset_states()
0
745
2
[질문]colab환경에서 텐서보드(TensorBoard)를 이용해서 학습과정 시각화(Visualization)하기강의 관련 질문
0
500
2
[질문]colab환경에서 tf.train.CheckpointManager API를 이용해서 파라미터 저장하고 불러오기 실행에 대한 질문
0
286
2
colab에서 구동 가능한 char-rnn 코드 관련 질문
0
217
1
안녕하세요 파이썬이랑 tensorflow 정확한 버전 알수있을까요?
0
249
1
colab 환경에서 Autoencoder 구현하였으나 결과가 보이지 않는 분들 참고사항
0
209
1
Mnist 에 keras를 통해 softmax를 활용한 regerssion error 발생
0
2098
2
GRU 리셋게이트, 포겟게이트 질문
0
259
1
ANN 구현
0
347
1
char-rnn 코랩 에러 ... 못보나요,, cpus는 너무 느려서
0
589
1
ANN으로 Mnist 숫자분류기 코드질문
0
293
1
ppt 12p 질문
0
381
1
keras에서 이미 정의된 모델을 가져와 학습할 경우
0
654
1
모델 코드 질문
0
368
1
코드 질문
0
277
1
ppt 10p
0
384
1
ppt 13p 추가 질문
0
256
1
ppt 9p 추가 질문
0
264
1
ppt 5p 질문
0
320
1
ppt 9p 질문
0
282
1
vanishing gradient
0
274
1
TensorFlow 2.0을 이용한 CIFAR-10 이미지 분류를 위한 CNN 구현 질문
0
258
1