learning rate 질문입니다.

Question

올려주신 강의를 볼때는 미리 찾아주신 learning rate 입력해서 학습시키는데 문제가 없었는데 다른 공개되어있는 데이터로 연습을 하려고 하니 learning rate 찾는게 어렵습니다. 대략적인 값을 쉽게 찾을 수 있는 좋은 방법이 어떤게 있을까요?

노마드크리에이터 · Answer

안녕하세요? learning rate 는 정말 잘 찾아야하는게 정답으로 적절한 값을 찾는 데 test/validation set으로 반복적인 작업을 해야하는 경우가 많습니다. 이 돠정을 들어시면 후반부에 normalization 등 적절한 learning rate를 찾는 요령에 대해서 설명하고 있으니 끝까지 강의를 들으시면 도움이 되실 겁니다. 그래도 지금까지는  learning rate 찾는 과정이 수작업이나 경험치에 치우치는데  저 같은 경우 반복적인 작업을 단순화하기 위해 케라스의 Early stop기능이 도움이 됩니다. 제 강의 중 이부분은 '케라스 인공지능의 공용어'에서 설명하고 있습니다. 최근에는 최적의 learning rate를 찾아주는 ktrain같은  라이브러리도 있습니다. https://github.com/amaiya/ktrain '텐서프로2 딥러닝 완전정복'과정에서 Bert를 배우면서 다루고 있습니다. 편한 반면 많은 리소스를 차지하더라고요. 다른 시도를 하기 전에 강의를 끝까지 듣고 후반부에 나오는 최적화 요령을 참조하시는 것을 추천드립니다. 도움되시길 바랍니다. 감사합니다.