ViT 모델 구현 코드에서 질문이 있습니다

강의 자료에 나와있는 수식은 Multi-Head가 아닌 Single-Head의 경우를 표현한 것으로 알면 될까요? 그런데 코드에서는 Multi-head 계산 후 permute으로 다시 num*heads, head_dim 4차원으로 나눠주는데 그러면 scale은 Dh로 적용해야되는 것이 아닌가요?

patch 이미지 imshow 부분에 대해서 질문이 있습니다

제공해주신 코드는 patch_size가 8인데, 실험하시기를 4로 하신 것 같네요

patchdata.py에서 make_weights 함수 질문이 있습니다

또 궁금한 점이 아래는 구글 어느 한 블로그를 퍼온건데, 제 생각과 동일한 부분이 있기는 합니다 클래스에 따른 가중치를 구한 다음에 이를 전체 Label에 적용할 때 Label에 대한 순서를 유지해줘야 되지 않나요? 현재 코드는 해당 리스트만큼 구해서 바로 extend 시키는 코드인 것 같아서요 (사진)

WeightedRandomSampler 질문이 있습니다

기존에 7:3 비율을 가지는 갯수의 데이터셋이 존재한다면 배치에서도 7:3으로 동일하게 나올 수 있게 하는 장치인가요? 뽑을 확률을 동일하게 가져갔을 때 문제가 데이터 갯수 불균형이 일어나면, 중복되게 뽑아야하는 경우가 나오지 않나요?

attention 기법 관련 질문입니다

감사합니다~

행렬의 해에 대해서 궁금한 것이 있습니다

Span 영역이 커지니 좀 더 확률은 높겠네요

facebookresearch / semi-supervised-ImageNet1K-models에 대해서 정확한 느낌을 알고 싶습니다

(사진) 32와 4d는 32는 레이어 너비, 4d는 중간 bottleneck 차원축소 dimension인 것은 알겠는데, 이게 실제로 연구에서 더 좋았기에 쓰는 것이겠죠?

ResNet과 1x1 conv 레이어에 대해서 질문이 있습니다

네 감사합니다!

eager execution에 대해서 질문이 있습니다

Keras 2.2 이하에서는 Input / Output Layer의 타입인 KerasTensor와 넘파이가 바로 연산이 되었던 것 같은데, TF에 속해진 Keras 2.4에서는 Eager Execution이 되질 않는 것 같네요. 그래서 disable_eager를 해야만 KerasTensor * Numpy가 가능합니다

Model API과 Keras.Application API input_tensor와의 동작 관계에 대해서 궁금합니다

아, 다시 코드를 보니 loss 정의에서 위 3개 텐서가 사용하더라구요 model.compile(loss=[dice_loss(east.overly_small_text_region_training_mask, east.text_region_boundary_training_mask, score_map_loss_weight, small_text_weight), rbox_loss(east.overly_small_text_region_training_mask, east.text_region_boundary_training_mask, small_text_weight, east.target_score_map)], loss_weights=[1., 1.], optimizer=opt) 각 배치마다 저 3개의 값이 다르고, 이를 loss 때 계산 용도로 사용하려고 전달하는 것 같습니다. 실제 모델에서 사용하지 않지만, 저렇게 다른 용도를 위해서 Model.input 파라미터 입력으로 전달해주는 경우도 종종 있나요? 감사합니다