강의

멘토링

커뮤니티

Inflearn Community Q&A

sansanai's profile image
sansanai

asked

Learning Transformer Through Implementation

Understanding RNNs and Their Limitations

RNN에서 출력 y에대해서..

Written on

·

44

0

안녕하세요.. RNN모델 설명에서, 궁금한 것이 있습니다. y_i = h_i 가 되는 것인가요?

딥러닝pytorchencoder-decoderberttransformer

Answer 1

0

dooleyz3525님의 프로필 이미지
dooleyz3525
Instructor

안녕하십니까,

개념 이해를 위한 그림상으로는 hi = yi 로 표시될 수는 있지만, 실제 RNN Model 적용시에는 보통 hi 에 다시 linear layer 적용으로 학습 파라미터가 다시 적용되어서 만들어지게 때문에 hi = yi는 아닙니다. 그림 상에는 hi에 학습 파라미터 적용되어서 yi가 되는 부분이 생략되어 있습니다.

감사합니다.

sansanai's profile image
sansanai

asked

Ask a question