inflearn logo
강의

講義

知識共有

『ゼロから作るLLM』完読チャレンジ

(YouTube) シングルヘッドアテンションをマルチヘッドアテンションに拡張する

어텐션 가중치 질문

解決済みの質問

66

kokp

投稿した質問数 13

0

어텐션 가중치가 학습되는 파라메터가 아니라고 하셨는데요. k,q,v 자체는 학습 파라메터가 맞지만 어텐션 가중치(attention score)는 q와 k로 부터 만들기 때문에 학습 파라메터가 아니다 라고 하신거 맞죠?

pytorch gpt-2 self-attention transformer llm

回答 1

0

haesunpark

네 맞습니다. k q v를 만드는 선형 층의 가중치는 학습되는 모델 파라미터이지만 어텐션 가중치는 k q로 계산되는 결괏값입니다.

죄송합니다. 해설 강의 관련 문의드립니다..!

0

113

2

해설강의 쿠폰 가능할까요??

0

138

3

해설강의 쿠폰 놓쳤는데, 재발급 가능할까요?

0

146

2

<CH 4.1> "LLM구조 구현하기" 장 마지막의 Logits 차원에 대한 문의

0

115

1

CH3의 맨 처음에 등장하는 '임베딩 입력 시퀀스' 텐서 값은 임의의 숫자인가요?

0

87

1

그림 4-5의 분산 값 문의드립니다.

1

92

1

챌린지 완수 조건 문의 드립니다.

0

113

2

해설강의 쿠폰 발행 문의

0

109

2

해설 쿠폰 관련 문의

0

84

2

쿠폰 관련 문의

0

110

3

쿠폰 관련하여 문의드립니다.

0

120

3

해설 쿠폰 관련...

0

81

2

코드 해설 강의 쿠폰 관련 문의

0

158

2

강의 쿠폰 관련 문의드립니다.

0

128

1

p63 질문

0

96

2

주차별 진도 확인하는거 어디에 있는지 알수있을까요?

0

116

2

임베딩 초기화

0

77

1

오타 발견했어요 >_<

0

91

1

8강 부터는 영상이 안나오는게 정상인가요?

0

111

1

강의 쿠폰 문의드립니다.

0

109

2

쿠폰 재발급

0

166

4

2.1 단어 임베딩 이해하기에서 차원 얘기에서

0

176

2

4장 강의는 아직 업로드가 안된걸까요?

0

97

1

코드 2-3 출력 결과 비교

0

89

1