-
질문 & 답변
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
vanishing gradient
21.09.23 00:57 작성 조회수 164
0
시그모이드 함수 및 하이퍼볼릭 탄젠트 함수를 미분하면
각각의 미분 값의 범위가
0~0.25 (시그모이드), 0~1 (하이퍼볼릭 탄젠트) 사이여서
chain rule에 의해 계속해서 반복하여 계산하면
해당값이 0에 가까워져
gradient vanishing problem이 발생하는 거 아닌가요?
강의 내용 중 잘못된 부분이 있는 거 같아 질문 드립니다.
답변을 작성해보세요.
0
AISchool
지식공유자2021.09.26
안녕하세요~. 반갑습니다.
말씀해주신 부분이 맞습니다. 강의내용중에 어떤 부분과 매칭 시켜서 말씀해주신건지 잘 모르겠는데 핵심은 sigmoid와 tanh은 특정 range 이상이나 이하로 인풋값의 범위가 벗어나면 미분값이 0으로 빠져버리는 대신 relu는 양수쪽으로 인풋값이 빠지면 계속해서 미분값이 살아있어서 vanishing gradient problem이 발생할 확률이 작다는 것입니다.
감사합니다~.
답변 1