inflearn logo
강의

Course

Instructor

Learning Transformer by Implementing

Understanding and Problems of RNNs

RNN에서 출력 y에대해서..

95

sansanai

22 asked

0

안녕하세요.. RNN모델 설명에서, 궁금한 것이 있습니다. y_i = h_i 가 되는 것인가요?

딥러닝 pytorch encoder-decoder bert transformer

Answer 1

0

dooleyz3525

안녕하십니까,

개념 이해를 위한 그림상으로는 hi = yi 로 표시될 수는 있지만, 실제 RNN Model 적용시에는 보통 hi 에 다시 linear layer 적용으로 학습 파라미터가 다시 적용되어서 만들어지게 때문에 hi = yi는 아닙니다. 그림 상에는 hi에 학습 파라미터 적용되어서 yi가 되는 부분이 생략되어 있습니다.

감사합니다.

19강 감정분석 강의처럼 api 돌렸는데

1

55

1

완독 챌린지 도서 인정 방법에 대한 문의

0

66

2

강사님 강의 자료와 코드를 부탁드리고 싶습니다.

0

57

2

16강에서 코드가 계속 안도길래. ai가 고쳐서 일단 supabase에 preditc 한 주가를

1

57

1

16강 구글 colab 에서 코드 실행이 안돼요.

0

65

1

강의자료, 코드 요청드립니다

0

50

2

강의 자료에 대한 질문입니다.

1

64

2

ssh 연결

0

54

1

강의의 난이도 및 속도

1

68

2

20번 강의 LoRA 실습이 에러가 납니다.

0

66

1

소스코드 오탈자 및 누락입니다.

0

99

2

소스코드 오탈자 입니다.

0

99

2

Embedding 모델 fine tuning 관련 질문

0

138

2

코드에 오타가 있는 것 같습니다

0

124

2

코드 오타가 있는것 같습니다.

0

118

2

트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서

0

119

2

트랜스포머 구조에서 블럭갯수에 대해서

0

128

2

embedding 값 시각화 해보기에서

0

95

1

length_penalty 부분이 없는 것 같습니다.

1

97

1

멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문

0

137

3

MLM, NSP 구현 여부

0

121

2

bert encoding input_ids.size(1)에 대하여

0

104

2

트랜스포머 학습 강의

0

137

2

Q, K, V 초기 임베딩

0

98

1