인프런 커뮤니티 질문&답변
작성한 질문수
Transformer를 전이 학습 시키고 싶다면
작성
·
402
0
수업 중 전이학습 얘기가 나오셔서요.
논문에서도 큰 Data로 사전 학습 시킨 후에,
transfer learning으로 정확도를 높였잖아요.
그런 pre-trained model을 pytorch에서도 download 받아서 전이학습을 시킬 수 있는지 문의드립니다.
답변 1
0
딥러닝호형
지식공유자
안녕하세요 은미님 :)
좋은 질문 감사드립니다.
파이토치로 구현된 구조가 같으면 가능합니다!!
즉, 우리가 배운 모델로 사전학습 시켰다면 적용이 가능하지만 다른 사람이 만든 모델로 사전학습을 했다면 우리 모델에 적용할 수 없습니다. 같은 모델이더라도 어떻게 구현했느냐가 사람에 따라 다르기 때문에 일반적으로 다른 사람이 미리 학습한 파일을 사용하고 싶을 경우 그 사람의 모델도 같이 가지고 와서 튜닝을 하게 됩니다.