vanishing gradient
272
작성자 없음
0 asked
시그모이드 함수 및 하이퍼볼릭 탄젠트 함수를 미분하면
각각의 미분 값의 범위가
0~0.25 (시그모이드), 0~1 (하이퍼볼릭 탄젠트) 사이여서
chain rule에 의해 계속해서 반복하여 계산하면
해당값이 0에 가까워져
gradient vanishing problem이 발생하는 거 아닌가요?
강의 내용 중 잘못된 부분이 있는 거 같아 질문 드립니다.
Answer 1
0
안녕하세요~. 반갑습니다.
말씀해주신 부분이 맞습니다. 강의내용중에 어떤 부분과 매칭 시켜서 말씀해주신건지 잘 모르겠는데 핵심은 sigmoid와 tanh은 특정 range 이상이나 이하로 인풋값의 범위가 벗어나면 미분값이 0으로 빠져버리는 대신 relu는 양수쪽으로 인풋값이 빠지면 계속해서 미분값이 살아있어서 vanishing gradient problem이 발생할 확률이 작다는 것입니다.
감사합니다~.
22강 코드 call()메서드 is_training -> model(x,False)로 호출시 밸류에러 참고
0
47
1
선형 회귀 모델에 대해서 질문 있습니다
0
253
2
tf.keras.model.reset_states()
0
745
2
[질문]colab환경에서 텐서보드(TensorBoard)를 이용해서 학습과정 시각화(Visualization)하기강의 관련 질문
0
499
2
[질문]colab환경에서 tf.train.CheckpointManager API를 이용해서 파라미터 저장하고 불러오기 실행에 대한 질문
0
286
2
colab에서 구동 가능한 char-rnn 코드 관련 질문
0
217
1
안녕하세요 파이썬이랑 tensorflow 정확한 버전 알수있을까요?
0
249
1
colab 환경에서 Autoencoder 구현하였으나 결과가 보이지 않는 분들 참고사항
0
209
1
Mnist 에 keras를 통해 softmax를 활용한 regerssion error 발생
0
2098
2
GRU 리셋게이트, 포겟게이트 질문
0
259
1
ANN 구현
0
347
1
char-rnn 코랩 에러 ... 못보나요,, cpus는 너무 느려서
0
589
1
ANN으로 Mnist 숫자분류기 코드질문
0
293
1
ppt 12p 질문
0
381
1
keras에서 이미 정의된 모델을 가져와 학습할 경우
0
654
1
모델 코드 질문
0
368
1
코드 질문
0
277
1
ppt 10p
0
384
1
ppt 13p 추가 질문
0
256
1
ppt 9p 추가 질문
0
264
1
ppt 5p 질문
0
320
1
ppt 9p 질문
0
280
1
TensorFlow 2.0을 이용한 CIFAR-10 이미지 분류를 위한 CNN 구현 질문
0
256
1
텐서플로우 설치 오류
0
257
1