Dropout 적용 시 학습, 테스트 시 질문입니다!

Question

안녕하세요! 강의 잘 듣고 있습니다!

해당 강의 실습코드에서 CNN 모델 설계 시 중간에 Dropout을 적용하잖아요? Dropout이 사전에 정의한 비율만큼의 랜덤한 노드들을 삭제해서 오버피팅을 줄이고자 하는 것이라고 알고 있는데요! 랜덤하게 노드를 drop 하다보니 학습,검증 데이터로 평가할 때는 Dropout을 적용하되 Test 데이터에 대해서 평가를 할 때는 Dropout을 적용하지 않아야 한다고 알고 있는데요!(혹시 아니라면 답변 달아주세요!)

Q1. 그렇다면 Tensorflow keras 모듈에서도 evaluate() 함수를 사용할 때는 설계한 모델에 Dropout layer가 들어있어도 evaluate 할 때는 내부적으로 학습시킨 모델에서 Dropout layer를 적용하지 않고 테스트 데이터에 대해 최종 예측하게 되나요?

Q2. 그리고 Dropout이 랜덤하게 노드를 삭제하다보니 학습할 때, 만약에 Epoch = 5라면 1번 Epoch를 돌 때마다 삭제될 노드들이 바뀌나요? 아니면 애초에 랜덤 시드 처럼 삭제될 노드를 처음에 못 박아놓고 Epoch 돌 때마다 매번 동일한 노드들을 삭제되나요?

혹시 질문이 잘 이해가 안 가신다면 답변 달아주세요! 감사합니다 :)

권 철민 · Answer

안녕하십니까, 1. 네, Dropout은 학습 시에만 적용됩니다. tensorflow는 Inference 시에는 모델에 dropout layer가 있어도 이를 무시하고 그대로 연결합니다. 즉 dropout layer가 inactive되면서 모든 Node가 연결됩니다. 2. 동일한 노드를 계속 삭제하면 그 역시 오버 피팅 될 확률이 커지기 때문에 연결이 무시될 노드는 batch 단위로 학습할 때 마다 바뀌게 됩니다. 감사합니다.