pre-trained 학습 관련해서 질문이 있습니다!

안녕하십니까,

20개로 학습된 weight가 있다면 새로운 1개 추가 class의 경우에 기존 학습된 weight(pretrained 모델)를 그대로 적용하는게 좋습니다. 물론 21개 모델을 처음부터 학습해도 무방하지만, 만약 20개 모델이 매우 잘 최적화 되었다면 이를 사용하지 않을 이유가 없습니다.

pre-tranined 모델을 이용하여 재 학습을 하려는 이유는 이미 학습된 모델의 weight로 새로운 모델의 초기화 값으로 사용하기 위함입니다.그렇지 않으면 새로운 모델의 초기값을 Random하게 부여하는데 이 경우 최적화에 시간이 필요하거나 올바른 방향으로 최적화가 되지 않을 우려가 있습니다.

정확한 weight값일 필요는 없으므로 기존 20개의 pretrained 모델을 그대로 활용할 수 있습니다. 다만 맨 마지막 classification layer는 20개를 사용하지 않습니다. 대부분의 classification layer가 fully connected 입니다. 20개가 아니라 21개로 fix된 Fully connected가 되어야 하기에 20개로 pretrained 된 classification layer는 재활용하지 않습니다. 따라서 대부분의 pretrained 모델을 Feature Map layer만 재 활용합니다.

감사합니다.