training
288
1 asked
안녕하세요 수업 잘 듣고 있습니다. 제 input 파일들 (이미지, annotated file)로 Vision transformer를 colab에서 훈련해보려고 시도해보았습니다. 그런데, RuntimeError:CUDA out of memory가 뜨더라구요. 제 질문은
cifar10과 수업시간에 사용하신 hyperparameters로 colab에서 훈련을 해보셨는지요?
CUDA out of memory를 피할 수 있는 방법이 없을까요? 제 input image가 720x496 grayscale일인 관계로 batch_size=1, patch_size=4로 설정을 해보았지만, colab에서 주는 GPU사이즈로는 감당하기가 어렵네요.
Answer 1
0
안녕하세요.
코랩에서 구동이 가능하도록 CIFAR10(32x32) 사용과 가동 가능한 하이퍼 파라메터들을 설정하고 실제 학습 및 모든 실행을 코랩에서 진행했습니다. 파일 그대로를 실행하시면 작동이 될 것입니다.
현재 이미지 사이즈를 720x496을 사용하셨다는 것인가요? 이 정도 크기면 코랩에서는 GPU 메모리 부족 현상을 해결하기 어렵습니다.
고성능 GPU 환경은 딥러닝을 배우는데 큰 장애물 중 하나죠 ㅠㅠ
감사합니다.
mean attention distance
0
199
2
안녕하세요, vit에 관심이 많은 사람입니다.
1
233
1
positional embedding 학습이 잘 안되는 문제
1
365
1
행렬 차원 수 질문
0
315
1
Self Attention 질문 있습니다.
0
325
1
Multi-Head Attention 모델 구조에서 궁금한게 있습니다.
0
555
1
전처리 관련해서 질문이 있습니다
1
362
1
답변에 대한 추가질문이 있습니다.
1
301
1
헷갈리는게 몇개 있습니다ㅠㅠ
1
375
1
Positional Encoding, KQV 질문입니다!
2
623
1
강의 자료 슬라이드
0
738
2
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
2
468
1
비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산
1
401
1
'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)
1
717
1
Image가 입력일 때 Cross Attention 결과가 궁금합니다.
0
889
1
Transformer의 input에 대해 질문드립니다.
1
415
1
ViT에 대한 전반적인 질문 드립니다!
1
394
1
Key query value관련 질문
1
567
2
Fine tuning 관련하여 질문 드립니다.
1
647
1
코드 질문
1
316
1
Dh의 의미
1
308
1
scheduler관련 질문드립니다.
2
276
1
E, Epos
0
304
1
key의 차원으로 정규화
0
167
1