learning rate 질문입니다.

안녕하세요?

learning rate 는 정말 잘 찾아야하는게 정답으로 적절한 값을 찾는 데 test/validation set으로 반복적인 작업을 해야하는 경우가 많습니다.

이 돠정을 들어시면 후반부에 normalization 등 적절한 learning rate를 찾는 요령에 대해서 설명하고 있으니 끝까지 강의를 들으시면 도움이 되실 겁니다.

그래도 지금까지는 learning rate 찾는 과정이 수작업이나 경험치에 치우치는데 

저 같은 경우 반복적인 작업을 단순화하기 위해 케라스의 Early stop기능이 도움이 됩니다.

제 강의 중 이부분은 '케라스 인공지능의 공용어'에서 설명하고 있습니다.

최근에는 최적의 learning rate를 찾아주는 ktrain같은  라이브러리도 있습니다.https://github.com/amaiya/ktrain

'텐서프로2 딥러닝 완전정복'과정에서 Bert를 배우면서 다루고 있습니다. 편한 반면 많은 리소스를 차지하더라고요.

다른 시도를 하기 전에 강의를 끝까지 듣고 후반부에 나오는 최적화 요령을 참조하시는 것을 추천드립니다.

도움되시길 바랍니다.

감사합니다.