inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지

Pretrained - Test 결과

286

changgun_film

작성한 질문수 1

1

안녕하세요~~
 
수업 잘 듣고 있습니다ㅎㅎ
다름이 아니라
그대로 구현하기 위해서 test 실행해봤는데 결과가 달라서 혹시 어떤 이유가 있을까 해서 질문드려요!
python vit.py --pretrained 1 --mode test
 
test loss: 0.908, test acc 70.20 %

vision-transformer 딥러닝 컴퓨터-비전 pytorch

답변 1

0

딥러닝호형

안녕하세요.

 

질문 감사드립니다.

일전에 코드 업데이트 할 때 테스트 도중에 저장된 모델 파일이 들어간 것 같습니다. ㅠㅠ

추가적으로 학습을 더하시면 강의에서 소개한대로 80%이상 평가 정확도를 얻으실 수 있습니다.

모델 파일은 내일 중으로 업데이트 하겠습니다!

 

열공하세요!

감사합니다.

0

딥러닝호형

test loss: 0.501, test acc 84.64 % 나오는 모델로 업데이트 했습니다 :)

0

Eunmi

epoch는 동일하게 500번 학습했는데 test acc가 더 높게 나온걸까요? 

update 된 항목이 궁금합니다. 

0

딥러닝호형

지금까지 코드가 2번의 업데이트가 있었습니다. 첫 번째는 weighted random sampling 부분을 수정하였고 두 번째(이번) 업데이트는 코드 수정 없이 사전학습 모델 .pth 파일만 업데이트 하였습니다.

원래 잘 학습된 모델이 있었는데 이전에 코드 수정 하면서 다시 업데이트하는 과정에 학습 중인 모델이 들어가 있었습니다. 그래서 다시 사전학습 모델 pth만 업데이트 하였습니다. 이번 업데이트에는 코드 수정은 없습니다. 

mean attention distance

0

212

2

안녕하세요, vit에 관심이 많은 사람입니다.

1

242

1

positional embedding 학습이 잘 안되는 문제

1

372

1

행렬 차원 수 질문

0

319

1

Self Attention 질문 있습니다.

0

333

1

Multi-Head Attention 모델 구조에서 궁금한게 있습니다.

0

565

1

전처리 관련해서 질문이 있습니다

1

364

1

답변에 대한 추가질문이 있습니다.

1

306

1

헷갈리는게 몇개 있습니다ㅠㅠ

1

384

1

Positional Encoding, KQV 질문입니다!

2

627

1

강의 자료 슬라이드

0

745

2

비전 트랜스포머 - 최신 모델 강의에서 positional embedding

2

472

1

비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산

1

404

1

'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)

1

724

1

training

1

292

1

Image가 입력일 때 Cross Attention 결과가 궁금합니다.

0

895

1

Transformer의 input에 대해 질문드립니다.

1

418

1

ViT에 대한 전반적인 질문 드립니다!

1

401

1

Key query value관련 질문

1

576

2

Fine tuning 관련하여 질문 드립니다.

1

655

1

코드 질문

1

322

1

Dh의 의미

1

319

1

scheduler관련 질문드립니다.

2

281

1

E, Epos

0

315

1