SE Net도 어텐션과 관련이 있을까요?

Question

좋은 강의 감사합니다. 영상처리만 하고 어텐션은 잘 몰랐는데 보면서 Squeeze Excitation과 비슷하지 않나 생각했습니다. LSTM에서 게이트 통과하는 개념도 어텐션과 비슷하게 생각되고요. 강사님 생각하시기에는 비슷한 개념으로 연관시킬 수 있을 것 같습니까? 그리고 강의 자료 26, 27에 있는 CNN 내용은 트랜스포머 강의 내용에서 활용되지 않은 것 같은데 실제로는 트랜스포머의 행렬곱/FullyConnected를 활용한 연산들이 CNN으로 대체된다면 더 성능이 좋아지는 것 아닐까요? 좋은 강의 감사합니다~

딥러닝호형 · Answer

안녕하세요. Giseok Kim님! 1. 개념은 다르다고 생각하는데 말씀하신 부분을 보고 생각해보니 데이터 처리 플로우가 유사하다고 느낄 수도 있다는 생각을 해봅니다 :) 2. 어텐션이 CNN의 단점을 보완하기 위해 사용되는 것인데 어텐션의 핵심인 키, 쿼리, 밸류 행렬 연산을 합성곱으로 바꾸신다는 말로 이해했습니다. 그러면 성능과 관련없이 트랜스포머라고 할 수 없지 않을까요? 그런데 비전트랜스포머 성능을 높이기 위해 트랜스포머 모델 앞단에 CNN을 합쳐서 쓰는 경우는 있어요! 감사합니다.