-
질문 & 답변
카테고리
-
세부 분야
컴퓨터 비전
-
해결 여부
미해결
SE Net도 어텐션과 관련이 있을까요?
21.12.21 22:32 작성 조회수 152
0
좋은 강의 감사합니다.
영상처리만 하고 어텐션은 잘 몰랐는데 보면서 Squeeze Excitation과 비슷하지 않나 생각했습니다.
LSTM에서 게이트 통과하는 개념도 어텐션과 비슷하게 생각되고요.
강사님 생각하시기에는 비슷한 개념으로 연관시킬 수 있을 것 같습니까?
그리고 강의 자료 26, 27에 있는 CNN 내용은
트랜스포머 강의 내용에서 활용되지 않은 것 같은데
실제로는 트랜스포머의 행렬곱/FullyConnected를 활용한 연산들이 CNN으로 대체된다면
더 성능이 좋아지는 것 아닐까요?
좋은 강의 감사합니다~
답변을 작성해보세요.
0
딥러닝호형
지식공유자2021.12.22
안녕하세요. Giseok Kim님!
1. 개념은 다르다고 생각하는데 말씀하신 부분을 보고 생각해보니 데이터 처리 플로우가 유사하다고 느낄 수도 있다는 생각을 해봅니다 :)
2. 어텐션이 CNN의 단점을 보완하기 위해 사용되는 것인데 어텐션의 핵심인 키, 쿼리, 밸류 행렬 연산을 합성곱으로 바꾸신다는 말로 이해했습니다. 그러면 성능과 관련없이 트랜스포머라고 할 수 없지 않을까요? 그런데 비전트랜스포머 성능을 높이기 위해 트랜스포머 모델 앞단에 CNN을 합쳐서 쓰는 경우는 있어요!
감사합니다.
답변 1