Transformer를 전이 학습 시키고 싶다면
455
작성한 질문수 11
수업 중 전이학습 얘기가 나오셔서요.
논문에서도 큰 Data로 사전 학습 시킨 후에,
transfer learning으로 정확도를 높였잖아요.
그런 pre-trained model을 pytorch에서도 download 받아서 전이학습을 시킬 수 있는지 문의드립니다.
답변 1
0
안녕하세요 은미님 :)
좋은 질문 감사드립니다.
파이토치로 구현된 구조가 같으면 가능합니다!!
즉, 우리가 배운 모델로 사전학습 시켰다면 적용이 가능하지만 다른 사람이 만든 모델로 사전학습을 했다면 우리 모델에 적용할 수 없습니다. 같은 모델이더라도 어떻게 구현했느냐가 사람에 따라 다르기 때문에 일반적으로 다른 사람이 미리 학습한 파일을 사용하고 싶을 경우 그 사람의 모델도 같이 가지고 와서 튜닝을 하게 됩니다.
mean attention distance
0
251
2
안녕하세요, vit에 관심이 많은 사람입니다.
1
260
1
positional embedding 학습이 잘 안되는 문제
1
400
1
행렬 차원 수 질문
0
342
1
Self Attention 질문 있습니다.
0
355
1
Multi-Head Attention 모델 구조에서 궁금한게 있습니다.
0
594
1
전처리 관련해서 질문이 있습니다
1
390
1
답변에 대한 추가질문이 있습니다.
1
331
1
헷갈리는게 몇개 있습니다ㅠㅠ
1
411
1
Positional Encoding, KQV 질문입니다!
2
657
1
강의 자료 슬라이드
0
771
2
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
2
498
1
비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산
1
441
1
'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)
1
747
1
training
1
317
1
Image가 입력일 때 Cross Attention 결과가 궁금합니다.
0
927
1
Transformer의 input에 대해 질문드립니다.
1
443
1
ViT에 대한 전반적인 질문 드립니다!
1
427
1
Key query value관련 질문
1
607
2
Fine tuning 관련하여 질문 드립니다.
1
681
1
코드 질문
1
340
1
Dh의 의미
1
345
1
scheduler관련 질문드립니다.
2
303
1
E, Epos
0
337
1