월 17,160원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
scheduler관련 질문드립니다.
scheduler를 업데이트시켜줄때, 배치단위로 업데이트 시킬 때의 장점과, 에폭 단위로 업데이트 시켜줄때의 장점이 궁금합니다 :)
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
E, Epos
입력값을 만들 때에 k x D차원의 E 행렬을 곱해주고, Epos를 더해주는데 이 행렬들의 초기값은 어떻게 되는 것인가요? 그리고 이 행렬들도 학습이 되는 변수인지 아니면 상수인지 궁금합니다.
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
key의 차원으로 정규화
중간에 루트 키의 차원으로 나눠주는 부분에 있어서 내적이 너무 커지는 것을 방지하기 위함이라고 하셨는데 내적이 커지면 왜 그레디언트 배니싱 현상이 일어나는 것인가요?
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
강의 슬라이드 파일 질문
안녕하세요 강사님. 유튜브를 비롯해서 강의 잘 듣고 있습니다. 강의 슬라이드가 있다고 하셨는데, .DS_Store 파일만 보여서 질문드립니다. 제가 현재 사용하고 있는 운영체제가 Windows라서 파일이 열어지지 않는데, .DS_Store 파일이 강의 슬라이드가 맞을까요?
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
Transformer를 전이 학습 시키고 싶다면
수업 중 전이학습 얘기가 나오셔서요. 논문에서도 큰 Data로 사전 학습 시킨 후에, transfer learning으로 정확도를 높였잖아요. 그런 pre-trained model을 pytorch에서도 download 받아서 전이학습을 시킬 수 있는지 문의드립니다.
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
Pretrained - Test 결과
안녕하세요~~ 수업 잘 듣고 있습니다ㅎㅎ 다름이 아니라 그대로 구현하기 위해서 test 실행해봤는데 결과가 달라서 혹시 어떤 이유가 있을까 해서 질문드려요! python vit.py --pretrained 1 --mode test test loss: 0.908, test acc 70.20 %
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
말씀하신 부분중 궁금한게 있어서 문의남깁니다.
1.4 테슬라 컴퓨터 비전 얘기를 하실때 7분 쯔음에 다수의 카메라가 동일한 물체를 표현할때 각기 다른 파트에 집중해서 CNN만으로 정보를 조합해서 우리가 만들어 놓은 공간으로 맵핑이 어렵다고 말씀하셨는지 왜 어려운지 이해가 안돼서 문의 남깁니다. 감사합니다. -이아름 드림
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
ViT 모델 구현 코드에서 질문이 있습니다
안녕하세요 ViT 모델 구현에서 질문이 있습니다 1. 강의 중 출력 값이 커짐에 따라서 Softmax 때 문제가 발생해서 사용한다는 Scale에서 선생님 코드가 아래와 같이 되어 있습니다 self.scale = torch.sqrt(latent_vec_dim*torch.ones(1)).to(device) 그런데 강의자료를 보면 head dimension으로 적용해야 하는 것이 아닌가 해서요 즉, self.scale = torch.sqrt(self.head_dim * torch.ones(1)).to(self.device) 확인해주시면 감사하겠습니다! 2. Transformer Encoder에서 MLP 구성할 때 FC층 2개와 GELU를 사용하는데, GELU는 왜 첫번째 FC에서만 Activation을 하고, 두번째 FC 출력 이후에는 생략하는 것인가요? 생략한다면 이유가 무엇이고, 훈련하는데 차이가 있을까요? 논문에서도 GELU 관련한 것은 "The MLP contains two layers with a GELU non-linearity" 문장만 있어서 조금 헷갈려서 질문을 드립니다
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
patch 이미지 imshow 부분에 대해서 질문이 있습니다
안녕하세요 "이미지 패치와 프로세스" 강의에서 10분여즈음에 patch data를 예시를 보여주셨는데 제가 실습한 이미지와는 달라서요. 32x32의 cifar10 이미지 데이터 중 하나를 8x8 이미지 패치 사이즈로 나눈 것인데 그러면 4x4개의 패치로 나와야 되는데 선생님께서 강의에서 예시로 보여드린 것과 조금 달라서요 감사합니다
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
멀티헤드 어텐션 효과
안녕하세요 좋은 강의 늘 감사드립니다! 멀티헤드 어텐션 관련 궁금한 사항이 있는데요 헤드별로 개별 계산을 하면 어텐션 스코어 행렬 자체가 헤드 수만큼 나오는데 reshpape하여 한번에 진행 하는 거면 헤드를 나누지 않고 어텐션을 적용한 결과와 동일하지 않나요? 목적이 훈련 간 가중치 행렬들의 업데이트 되는 공간과 값들이 헤드 수만큼 분리되서 업데이트 되니 그 부분에 대하 정보의 차이를 기대하는게 맞다고 보면 될까요? 이것도 아니라면 단순히 병렬처리 속도 차이를 위함일까요~ (추가) 검색 해보니 softmax 함수로 인해서 Attention을 나눠서하면 값이 다르다는 글이 있는데 이게 맞다면 결과론적으로 최종 결과치가 일괄로 진행하는 것과 멀티헤드로 진행하는 것의 차이가 있는게 맞겠죠?^^
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
patchdata.py에서 make_weights 함수 질문이 있습니다
안녕하세요 구현 부분 보고 있는데, 궁금한 점이 있습니다 1. make_weights 함수를 구할 때 클래스 갯수만큼 반복문을 통해서 단순하게 1/카운팅 갯수로 하는데, 저는 데이터셋 전체 갯수를 고려해서 넣어줘야 되지 않나도 생각이 들어서요. (둘 모두 클래스 많고 적음은 표현이 될 것 같긴 합니다. 다만 후자가 좀 더 정확하지 않을까 해서요) 2. 또 드는 생각이 Pytorch API에서 저렇게 계산해서 넣어줘야만 되는건지 궁금합니다 3. 그리고 직접 구하는 것이 아닌 Pytorch에서 충분히 내부적으로 처리해줄 수 있을 것 같은데, 그건 또 아니네요 감사합니다
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
SE Net도 어텐션과 관련이 있을까요?
좋은 강의 감사합니다. 영상처리만 하고 어텐션은 잘 몰랐는데 보면서 Squeeze Excitation과 비슷하지 않나 생각했습니다. LSTM에서 게이트 통과하는 개념도 어텐션과 비슷하게 생각되고요. 강사님 생각하시기에는 비슷한 개념으로 연관시킬 수 있을 것 같습니까? 그리고 강의 자료 26, 27에 있는 CNN 내용은 트랜스포머 강의 내용에서 활용되지 않은 것 같은데 실제로는 트랜스포머의 행렬곱/FullyConnected를 활용한 연산들이 CNN으로 대체된다면 더 성능이 좋아지는 것 아닐까요? 좋은 강의 감사합니다~
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
WeightedRandomSampler 질문이 있습니다
안녕하세요. vit 구현하실 때 WeightedRandomSampler 동작에 대해서 궁금한 점이 있습니다 해당 class 갯수가 작을 때는 weight 값이 크게 들어가고, 반대 상황에서는 다르게 들어가는데 그럼 DataLoader에서 weight가 어떻게 동작하게 되는 것인가요? 결국 DataLoader에서는 모든 이미지가 한 번씩 나오게 되는데, 그럼 배치마다 클래스에 따라 균일하게 나오게 되는 것인가요?
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
attention 기법 관련 질문입니다
안녕하세요 강의에서 spatial, channel attention으로 attention을 구하는 방법과 Key, Query, Value로 attention을 구하는 방법을 따로 소개해주셨는데, 이는 서로 다른 attention 기법으로 이해하면 되는 것인가요?
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
강의 슬라이드 자료 문의
강의 자료를 여러 번 다운받아서 압축을 풀어봤는데도 강의 슬라이드, pdf 파일이 보이지가 않습니다... ㅠㅠㅠ 뭐가 문제일까요?? 따로 올려주시면 안되는 걸까요??
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
모델 활용 관련 질문
안녕하세요, 최신 이론을 시의 적절하게 잘 다뤄 주셔서 매우 유익한 강의였습니다. 제공해 주신 실습파일에서는 cifar-10 데이터셋을 epoch 500회로 학습하여 model .pth를 만드신 것으로 보이는데, 만약 데이터셋만 다른 것으로 변경 후 model.pth를 적용하면, 기존 cifar-10을 이용하여 pretrained된 모델을 이용한 전이학습이 가능한 것인지요? 그리고, 현재 모델은 cifae-10으로 학습되어 있는데, 혹시 cifar-100 이나 imagenet 등 다른 데이터셋으로 pretrained된 모델을 구할 수 있는 지 궁금합니다.
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
강의 슬라이드 자료 관련 문의
안녕하세요, 오늘 강의를 접수하여 수강 시작했습니다. 2강에서 강의자료 다운로드를 하였는데, 압축파일을 풀어봐도 강의 슬라이드 자료는 없습니다. 총 63장의 슬라이드 라고 하는 자료는 없고, 코딩 자료만 있는데, 강의 슬라이드 자료는 어디서 받을 수 있나요?
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
질문
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 제가 제 이미지에 대한 test 결과물로 confusionmatrix를 만들고 싶은데 어느부분에 어떻게 코드를 추가하면 될까요?? 도와주시면 감사하겠습니다.ㅠㅠ
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
TNSE
안녕하세요 강의 너무 잘들었습니다. 제가 전강의에서한 TNSE를 여기서 접목해 보려고 하는데 잘 안되어서 질문드립니다. 제가보기엔 별 다른게 없는거 같은데 RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)` 이런 에러가 떠서 혹시 아신다면 답변해주시면 감사하겠습니다. 아니면 제가 어떻게 해야하는지 가르쳐주셔도 감사할거 같습니다
- 미해결최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지
Attention에 질문이 있습니다.
안녕하세요, 최신 기술 ViT를 이해해보려고 강의를 찾은 순간 바로 결제해서 감사히 잘 듣고 있습니다. 자연어 처리에 대한 이해가 부족해서 attention에 대한 개념이 조금 어려운데요. 강의를 돌려 듣다 보니 attention을 설명해주실 때 사용한 'Bottleneck Attention Module'에 대해서 대략적으로 이해했습니다. F' = F + F x M(F) M(F)를 계산하는 것 자체가 픽셀 중에서 어느 픽셀이 중요한지를 계산하는 것과 동일하다고 이해했습니다. 그래서 residual 연산을 통해 F'를 계산하구요. 질문이 두 가지가 있습니다. 1. 근데 F'는 어디에 사용되는 건가요? 일반적인 CNN처럼 계속해서 생성되는 feature의 하나일 뿐인건가요? 2. BAM 블록은 특정 이미지에 overfitting되지 않는 다는게 이해하기 어렵습니다. attention이라는 게 이미지 전체를 보는 것인데 전체를 보더라도 overfitting되지 않는 것이 이해하기 어렵네요 새로운 개념을 공부하려다 보니 너무 기초적인 질문을 드린것만 같습니다. ㅎㅎ