🤍 전 강의 25% 할인 중 🤍

2024년 상반기를 돌아보고 하반기에도 함께 성장해요!
인프런이 준비한 25% 할인 받으러 가기 >>

  • 카테고리

    질문 & 답변
  • 세부 분야

    컴퓨터 비전

  • 해결 여부

    미해결

reul 기울기 소멸

21.08.23 23:30 작성 조회수 232

0

항상 질문에 답변 잘해주셔서 감사합니다 선생님!
이번 질문은 Reul가 0이하일때는 기울기값들이 바로 0 으로 수렴하게 되는데 이는 vannishing gradient로 왜 해당 되지않는건가요?

답변 1

답변을 작성해보세요.

1

안녕하십니까, 

일반적으로 vanishing gradient는 sigmoid와 같은 activation의 경우 발생할 수 있는데, sigmoid의 경우 +로 큰 값이나 -로 큰값은 미분값이 0이 되기 쉽기 때문입니다. 

relu값은 경우는 입력값 x > 0일 경우 x가 되고 이를 미분하면 1이 되기 대문에 vanishing gradient 발생을 억제할 수 있습니다. 다만 적어주신대로 x <=0 일 경우는 0 이 되어 버리기 때문에  gradient가 0 가 되고 해당 neuron이 학습하지 못하게 됩니다. 이게 전반적으로는 큰 문제는 아닙니다. 중요한것은 전반적인 gradient값이 어떻게 되는가이기 때문입니다. 단지 이게 문제가 될 수 있는 그런 딥러닝 문제라면 Leaky Relu 등을 활용해서 적용할 수 있습니다. 

감사합니다. 

박우성님의 프로필

박우성

질문자

2021.08.24

감사합니다!

채널톡 아이콘