Attention Mechanism이 이해가 잘 안되네요
첫번째(?) 디코더의 히든 스테이트를 FC에 추가한 다음 5개의 노드의 가중치를 구하고 다시 컨텍스트 벡터를 구해서 두번째 디코더(?)에 넣는 건가요??
답변 2
1
안녕하세요!! 호형입니다.
큰 그림은 말씀하신게 맞습니다!! FC부분이 말씀 하신대로 계속 업데이트가 됩니다.
강의에서 말씀 드리고 싶었던 것은 단어 하나를 번역할 때 모든 h가 쓰인다는 점과 디코더 부분의 정보가 다시 반영 된다는 점 입니다!!
그런데 사실.. 실제 계산은 인코더의 h와 디코더에서 내려온 값이 통으로 계산 되지는 않습니다ㅠㅠ
입문 강의라 컨셉만 설명 드리고 자세한 계산 과정을 생략 했는데 지금 보니까 이해 하시는데 불편할 수도 있다는 생각이 드네요.
이번 달에 보강 자료 만들면 공지 드리도록 하겠습니다.
감사합니다. 열공하세요!
답변이 도움이 되셨다면 하트 뿅뿅😊 부탁 드려요!
numpy의 shape
0
580
1
tfjs-node 안깔려서
0
1098
1
강의자료 요청드립니다!
0
536
1
하이퍼 파라미터 튜닝 범위
0
605
1
딥러닝 코드에 Batch Normalization 적용해보기 질문입니다
0
576
1
flyctl 관련 재문의 드립니다.
0
592
1
Adversarial-based Transfer Learning과 GAN에 대해 질문 드립니다
1
651
1
모멘텀 기반, 가변학습률, adam 식 보충 설명 요구
1
510
1
알아두기 2.3.8 이진 교차 엔트로피 함수 식 괄호 여부 질문
0
320
1
공식 표현이 이해가 안됩니다...
0
404
1
Input size 및 노드수 관련 문의
1
514
2
안녕하세요 비지도학습 문의드려요
1
218
1
강의 공부 내용을 정리해서 개인 블로그에 업로드해도 괜찮을까요?
0
366
1
손실함수 교차엔트로피 함수
0
1026
3
계산 오류 (영상 16:04~16:53)
2
278
1
손실함수 예제 질문
0
292
1
XOR 강의 중에 질문있습니다
0
209
2
Grad CAM에 관한 질문 입니다.
0
237
1
Adversarial-based 전이 학습에 관한 질문 입니다.
1
276
2
드랍아웃과 Convolutional Autoencoder에 대한 간단한 질문입니다.
1
302
2
Sparse Autoencoder의 식에서 궁금한 점이 있습니다.
1
351
4
간단한 궁금증입니다!!
1
301
2
필터사이즈와 컨볼루션레이어 크기의 관계에서
1
494
2
XOR 문제 행렬 연산
6
580
1