Pretrained 모델의 Fine Tuning(미세조정)에 대한 질문이 있습니다.

Question

Pretrained 모델의 Fine Tuning(미세조정)에 대한 질문이 있습니다. 1단계에서 Freeze(trainable = False) 학습에서 제외를 시킨다는 것이 Pretrained 모델의 가중치를 사용은 하지만, 가중치를 업데이트하지 않겠다는 의미입니까? 풀어서 질문을 드리자면 classification layers들만 학습을 한다고 교재에도 적혀 있는데요, 1단계에서 Feature Extractor 에서 기존에 학습된 가중치(imagenet weight)를 사용해서 Feature map를 만들고, classification layers를 학습을 하지만 가중치는 업데이트 하지 않겠다는 의미로 받아 들여야 하나요? 아니면 Feature Extractor 단계가 학습에서 제외 되는 건가요? 그렇다면 classification layers에서의 학습은 이미지의 형상이 무너지는 게 아닌가하는 의문점이 있습니다.

권 철민 · Answer

안녕하십니까, 학습을 한다는 의미는 가중치를 update한다는 의미입니다. layer를 freeze를 하게 되면 해당 layer는 iteration을 해도 학습을 하지 않는다는, 즉 가중치를 update하지 않습니다. 이렇게 하는 이유는 1000개의 클래스들을 가진 imagenet 이미지들로 학습된 feature map을 기반으로 custom dataset을 학습 시 feature map과 classification layer를 급진적(?)으로 학습하지 않고, 보다 예열(?)을 하면서 학습을 시키는 방식입니다. 그러니까 custom dataset으로 학습할 때 처음부터 feature map + classification layer를 한번에 학습하지 않고, classification layer 부터 image net으로 학습된 가중치 기반에서 학습해서 어느정도 classification layer 가중치를 먼저 예열 시킨 다음에 전체 layer를 학습하는 방법입니다. 감사합니다.