DQN 학습 및 저장 모델 불러오기 속도 문의

Question

안녕하세요, 책을 먼저 사고, RL 커뮤니티 페이스북 페이지에서 인프런 강의 있다는 말 듣고 바로 사서 듣고 있는 중입니다. 강화학습 입문자에겐 빛과같은 존재이십니다. 감사합니다. GridWorld 환경 만들고, DQN으로 학습을 시킨뒤 저장된 모델 불러와서 학습된 결과를 볼 때 애들이 너무 빨리 움직입니다. 학습할때는 time_scale이 12이고 test_step으로 들어가면 time_scale이 1이 되어야 하는데, 반대인 느낌이 듭니다. 코드는 깃허브에서 다운 받은거에서 load_model 부분만 False에서 True로 바꾸고 train_model를 False로 바꿨습니다. 처음 학습할때도 처음 50000번 step을 돌고 나서 test 에 들어갈때 갑자기 확 빨라지는 걸 느꼈는데요, 이게 원래 그런건가 싶어서요, 어떻게 손을 봐야 할지 문의드립니다.

이현호 · Answer

안녕하세요! 수강해주셔서 감사합니다! 설명해주신 내용으로는 정확한 원인을 파악하기는 어려울 것 같은데요, 혹시 train/test 영상 캡쳐가 가능하다면 도움이 될 것 같습니다! 말씀해주신 내용을 토대로 의심이 가는 부분이 있다면, DQN 알고리즘은 학습을 진행할 때 train_start_step이 지나고 난 후 부터 매 스텝마다 train_model 함수를 통해 네트워크 최적화를 진행하는데요. 이때 이미지 데이터를 통해 학습을 진행하기 때문에 만약 GPU가 없는 머신이라면 test 보다 느려질 수 있을 것 같습니다. 그게 아니라면 학습을 진행할 때 프레임이 끊겨서 보이는데요, 이에 따라 느리게 보일 수 있을 것 같습니다. 감사합니다 (_ _)