인프런 커뮤니티 질문&답변

안녕하세요, 강사님 강의 열심히 잘 듣고 있습니다.

visionTransformer생성 부분에서,

제가 잘못 이해하였는 것일 수 있으나,

class VisionTransformer(nn.Module):

def init(self, img_size, patch_size, num_layers, num_heads,

embed_dim, mlp_dim, attention_dropout, dropout, num_classes=1000):

super().__init__()

#Patch Embedding 모듈, class token, position embedding 파라미터 생성.

self.patch_embedding = PatchEmbedding(img_size=img_size, in_channels=3,

patch_size=patch_size, embed_dim=embed_dim)

self.class_token = nn.Parameter(torch.zeros(1, 1, embed_dim))

seq_length = (img_size // patch_size) ** 2

self.pos_embed = nn.Parameter(torch.empty(1, seq_length+1, embed_dim).normal_(std=0.02))

#Encoder 생성.

self.encoder = Encoder(num_layers=num_layers, num_heads=num_heads, embed_dim=embed_dim,

mlp_dim=mlp_dim, attention_dropout=attention_dropout, dropout=dropout)

#최종 classification Linear Layer 생성

self.head = nn.Linear(embed_dim, num_classes)

def get_patch_class_pos_embedding(self, input_tensor):

patched_tensor = self.patch_embedding(input_tensor)

batch_size = patched_tensor.shape[0]

# batch_size 만큼 class token을 증식하고 patch embedding 된 patched_tensor의 맨 앞에 concat

batch_class_token = self.class_token.expand(batch_size, -1, -1)

patch_class_embed = torch.cat([batch_class_token, patched_tensor], dim=1)

# position embedding을 더함.

patch_class_pos_embed = patch_class_embed + self.pos_embed

return patch_class_embed
마지막 return 부분이 patch_class_embed가 아닌 patch_class_pos_embed로 수정되어야 할 것 같습니다. 파라미터 사이즈에는 영향이 없으나 버그가 발생할 수 있을 것 같아 이렇게 글 남깁니다.

항상 좋은 강의 감사드립니다. 혹시나 의도하신 것이라면 제가 잘못 이해한 것이니 바로 잡아주시길 바랍니다.

감사합니다.