인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

wqqqq님의 프로필 이미지
wqqqq

작성한 질문수

최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지

비전 트랜스포머 - 최신 모델

E, Epos

작성

·

293

0

입력값을 만들 때에 k x D차원의 E 행렬을 곱해주고, Epos를 더해주는데 이 행렬들의 초기값은 어떻게 되는 것인가요?
그리고 이 행렬들도 학습이 되는 변수인지 아니면 상수인지 궁금합니다.

답변 1

0

딥러닝호형님의 프로필 이미지
딥러닝호형
지식공유자

안녕하세요.

 

둘 다 학습 가능한 모델 변수입니다!

초기값은 랜덤입니다. 코딩 부분 공부 하실 때 확인하실 수 있으실 겁니다 :)

 

감사합니다.

wqqqq님의 프로필 이미지
wqqqq

작성한 질문수

질문하기