• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    미해결

심층 신경망 옵티마이저

22.04.03 19:12 작성 조회수 141

0

케라스가 다양한 종류의 경사 하강법 알고리즘을 제공하고 이들을 옵티마이저라고 부른다.

- 옵티마이저 기본값 = 'rmsprop'

- 그 외 다양한 옵티마이저 알고리즘 : sgd, Adagrad, Adam...etc

여기까지는 이해를 했는데, 

"가장 기본적인 옵티마이저가 확률적 경사 하강법인 SGD이고, 기본 경사 하강법 옵티마이저는 모두 SGD 클래스에서 제공한다."

이 부분이 이해되질 않습니다.

 

1. RMSprop, SGD, Adagrad, Adam 모두 동일선상의 알고리즘 아닌가요? 아니면 기본 경사 하강법 옵티마이저(SGD, 모멘텀, 네스테로프 모멘텀)와 적응적 학습률 옵티마이저(RMSprop, Adagrad, Adam)를 각각 다른 옵티마이저 그룹으로 나누어 생각해야 하나요?

답변 1

답변을 작성해보세요.

0

안녕하세요. 박해선입니다.

경사 하강법 알고리즘을 구분하거나 분류하는 것은 각자 보는 관점에 따라 다를 수 있습니다. 케라스의 SGD 클래스에는 모멘텀과 네스테로프 모멘텀이 같이 구현되어 있습니다.

감사합니다!