인프런 커뮤니티 질문&답변

선생님 안녕하세요, 덕분에 좋은 강의 잘 들었습니다!

조금 기초적인? 질문이 있는데요, 어텐션의 key, query, value를 사용해서 key와 query간의 유사도를 도출하고 그 값을 value값에 곱해줌으로써 이미지 안에서 중요한 부분과 상대적으로 덜 중요한 부분을 나타내어 학습을 원활하게 한다고 이해했습니다.

하지만 실질적으로 구현했을 때 key, query, value 는 처음에 임의의 Linear Layer에 불과하고 여기에 임베딩된 이미지 패치가 들어오고 연산이 진행되면서 점점 모델의 정확도가 올라가게 되는데요, 그럼 이 과정이 어떤 계산 과정을 거쳐서 성능이 좋아지는것은 확인 하였지만 정확히 왜 이렇게는 되는지 모르는 과정인가요? 

또한, 멀티헤드를 사용하는 이유가 다양한 관점?에서 볼 때 더 좋은 성능이 나온것이 증명되는것으로 이해했는데 맞게 이해 했을까요? 

현재 예제에서는 12개의 Layer들과 통해 8개의 헤드를 통해 총 96개의 어텐션 맵이 도출되게 됩니다. 처음 어텐션이라는 주제를 접했을때 상상속으로는 이러한 96개의 어텐션 맵들이 종합되어 작동할것이라고 예상했는데 실제로는 그렇게 작동되지 않는것으로 이해했습니다. 그렇다면 결과 분석을 할 때 특정 이미지에 대해서 어떠한 어텐션이 결과적으로 적용되어 해당 이미지의 어떤 부분에 집중하였는지를 알 수 있는 방법이 있을까요?

마지막으로 클래스 토큰에 해당하는 벡터만 분류에 사용하는 아이디어 역시 어떠한 증명?을 통해 나온 결과가 아니라 단순히 실험적으로 돌려보니 이렇게 해도 결과가 잘 나오더라.. 라는 식으로 접근한 방식인지도 궁금합니다 ^^

항상 감사합니다 선생님!