TNSE
677
작성한 질문수 3
이런 에러가 떠서 혹시 아신다면 답변해주시면 감사하겠습니다. 아니면 제가 어떻게 해야하는지 가르쳐주셔도 감사할거 같습니다
답변 2
0
스크린샷만으로 정확히 판단할 수 없지만 model 안에 fc 정의 하셨나요? 원래 코드라면 model.fc가 없어서 마지막 레이어를 Identity로 바꿔 주시려면 model.mlp_head를 바꿔주셔야 할 것 같아요. 결론적으로 마지막 부분에서 nn.Linear의 아웃값이 안 맞는 것으로 보이네요.
0
답변감사합니다. ㅠㅠ 귀찮게 해드려서 죄송합니다. 아웃값이 안맞는다는게 어떤건지 구체적으로 설명 해주실수 있나요?? 일단 mlp head부분을 바꿔도 에러는 그대로 뜹니다 ㅠㅠ
0
mlp_head.fc로 하신 것 같아요. mlp_head로 바꾸시고 그 다음 모델 파일 가셔서 forward부분 라인 마다 사이즈를 체크해보시고 모델에서 나온 아웃풋이랑 아웃풋 나오고 나서 수행하시려는 데이터 사이즈랑 비교해보세요!
mean attention distance
0
213
2
안녕하세요, vit에 관심이 많은 사람입니다.
1
242
1
positional embedding 학습이 잘 안되는 문제
1
372
1
행렬 차원 수 질문
0
319
1
Self Attention 질문 있습니다.
0
333
1
Multi-Head Attention 모델 구조에서 궁금한게 있습니다.
0
565
1
전처리 관련해서 질문이 있습니다
1
365
1
답변에 대한 추가질문이 있습니다.
1
306
1
헷갈리는게 몇개 있습니다ㅠㅠ
1
384
1
Positional Encoding, KQV 질문입니다!
2
627
1
강의 자료 슬라이드
0
745
2
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
2
472
1
비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산
1
404
1
'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)
1
724
1
training
1
292
1
Image가 입력일 때 Cross Attention 결과가 궁금합니다.
0
896
1
Transformer의 input에 대해 질문드립니다.
1
418
1
ViT에 대한 전반적인 질문 드립니다!
1
401
1
Key query value관련 질문
1
576
2
Fine tuning 관련하여 질문 드립니다.
1
655
1
코드 질문
1
322
1
Dh의 의미
1
319
1
scheduler관련 질문드립니다.
2
281
1
E, Epos
0
315
1