-
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
learning rate 질문입니다.
20.03.26 20:31 작성 조회수 162
0
올려주신 강의를 볼때는 미리 찾아주신 learning rate 입력해서 학습시키는데 문제가 없었는데
다른 공개되어있는 데이터로 연습을 하려고 하니 learning rate 찾는게 어렵습니다.
대략적인 값을 쉽게 찾을 수 있는 좋은 방법이 어떤게 있을까요?
답변을 작성해보세요.
0
노마드크리에이터
지식공유자2020.03.27
안녕하세요?
learning rate 는 정말 잘 찾아야하는게 정답으로 적절한 값을 찾는 데 test/validation set으로 반복적인 작업을 해야하는 경우가 많습니다.
이 돠정을 들어시면 후반부에 normalization 등 적절한 learning rate를 찾는 요령에 대해서 설명하고 있으니 끝까지 강의를 들으시면 도움이 되실 겁니다.
그래도 지금까지는 learning rate 찾는 과정이 수작업이나 경험치에 치우치는데
저 같은 경우 반복적인 작업을 단순화하기 위해 케라스의 Early stop기능이 도움이 됩니다.
제 강의 중 이부분은 '케라스 인공지능의 공용어'에서 설명하고 있습니다.
최근에는 최적의 learning rate를 찾아주는 ktrain같은 라이브러리도 있습니다.https://github.com/amaiya/ktrain
'텐서프로2 딥러닝 완전정복'과정에서 Bert를 배우면서 다루고 있습니다. 편한 반면 많은 리소스를 차지하더라고요.
다른 시도를 하기 전에 강의를 끝까지 듣고 후반부에 나오는 최적화 요령을 참조하시는 것을 추천드립니다.
도움되시길 바랍니다.
감사합니다.
답변 1