• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    해결됨

Attention Mechanism이 이해가 잘 안되네요

21.01.11 21:03 작성 조회수 194

1

첫번째(?) 디코더의 히든 스테이트를 FC에 추가한 다음  5개의 노드의 가중치를 구하고 다시 컨텍스트 벡터를 구해서 두번째 디코더(?)에 넣는 건가요??

답변 2

·

답변을 작성해보세요.

1

안녕하세요!! 호형입니다.

큰 그림은 말씀하신게 맞습니다!! FC부분이 말씀 하신대로 계속 업데이트가 됩니다.

강의에서 말씀 드리고 싶었던 것은 단어 하나를 번역할 때 모든 h가 쓰인다는 점과 디코더 부분의 정보가 다시 반영 된다는 점 입니다!!

그런데 사실.. 실제 계산은 인코더의 h와 디코더에서 내려온 값이 통으로 계산 되지는 않습니다ㅠㅠ

입문 강의라 컨셉만 설명 드리고 자세한 계산 과정을 생략 했는데 지금 보니까 이해 하시는데 불편할 수도 있다는 생각이 드네요.

이번 달에 보강 자료 만들면 공지 드리도록 하겠습니다.

감사합니다. 열공하세요!

답변이 도움이 되셨다면 하트 뿅뿅😊 부탁 드려요!

0

박순성님의 프로필

박순성

질문자

2021.01.12

컨셉과 연산이 조금 다른 부분이 있을 수 있군요. 답변 감사합니다~~