인프런 커뮤니티 질문&답변
작성한 질문수
SE Net도 어텐션과 관련이 있을까요?
작성
·
228
0
좋은 강의 감사합니다.
영상처리만 하고 어텐션은 잘 몰랐는데 보면서 Squeeze Excitation과 비슷하지 않나 생각했습니다.
LSTM에서 게이트 통과하는 개념도 어텐션과 비슷하게 생각되고요.
강사님 생각하시기에는 비슷한 개념으로 연관시킬 수 있을 것 같습니까?
그리고 강의 자료 26, 27에 있는 CNN 내용은
트랜스포머 강의 내용에서 활용되지 않은 것 같은데
실제로는 트랜스포머의 행렬곱/FullyConnected를 활용한 연산들이 CNN으로 대체된다면
더 성능이 좋아지는 것 아닐까요?
좋은 강의 감사합니다~
답변 1
0
딥러닝호형
지식공유자
안녕하세요. Giseok Kim님!
1. 개념은 다르다고 생각하는데 말씀하신 부분을 보고 생각해보니 데이터 처리 플로우가 유사하다고 느낄 수도 있다는 생각을 해봅니다 :)
2. 어텐션이 CNN의 단점을 보완하기 위해 사용되는 것인데 어텐션의 핵심인 키, 쿼리, 밸류 행렬 연산을 합성곱으로 바꾸신다는 말로 이해했습니다. 그러면 성능과 관련없이 트랜스포머라고 할 수 없지 않을까요? 그런데 비전트랜스포머 성능을 높이기 위해 트랜스포머 모델 앞단에 CNN을 합쳐서 쓰는 경우는 있어요!
감사합니다.