inflearn logo
강의

講義

知識共有

実装しながら学ぶTransformer

RNNの理解と問題点

RNN에서 출력 y에대해서..

77

sansanai

投稿した質問数 20

0

안녕하세요.. RNN모델 설명에서, 궁금한 것이 있습니다. y_i = h_i 가 되는 것인가요?

딥러닝 pytorch encoder-decoder bert transformer

回答 1

0

dooleyz3525

안녕하십니까,

개념 이해를 위한 그림상으로는 hi = yi 로 표시될 수는 있지만, 실제 RNN Model 적용시에는 보통 hi 에 다시 linear layer 적용으로 학습 파라미터가 다시 적용되어서 만들어지게 때문에 hi = yi는 아닙니다. 그림 상에는 hi에 학습 파라미터 적용되어서 yi가 되는 부분이 생략되어 있습니다.

감사합니다.

강의 자료 및 코드 수령

0

30

2

기초실습 BERT파인튜닝 예제 오류

0

26

1

54강 양자화의 끝판왕, 터보퀀트 (예정) 강의 업로드

0

30

1

블로그에 학습 내용 올려도 되나요?

0

34

1

130_Transformer.ipynb 오류 대응 부탁드립니다.

0

42

1

[데이터 전처리] dropna에서 특정 두 지표만 기준으로 결측치를 제거한 이유가 궁금합니다

1

31

1

smithery filesystem mcp server

0

48

2

supabase url, key 값 확인방법

1

75

3

02_TENSOR.md자료

0

45

1

프로그램은 뭘 사용하시는 건가요??

1

53

2

소스코드 오탈자 및 누락입니다.

0

64

2

소스코드 오탈자 입니다.

0

65

2

Embedding 모델 fine tuning 관련 질문

0

110

2

코드에 오타가 있는 것 같습니다

0

91

2

코드 오타가 있는것 같습니다.

0

93

2

트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서

0

99

2

트랜스포머 구조에서 블럭갯수에 대해서

0

103

2

embedding 값 시각화 해보기에서

0

77

1

length_penalty 부분이 없는 것 같습니다.

1

80

1

멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문

0

108

3

MLM, NSP 구현 여부

0

102

2

bert encoding input_ids.size(1)에 대하여

0

91

2

트랜스포머 학습 강의

0

117

2

Q, K, V 초기 임베딩

0

90

1