inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지

(유튜브) 싱글 헤드 어텐션을 멀티 헤드 어텐션으로 확장하기

어텐션 가중치 질문

해결된 질문

42

kokp

작성한 질문수 13

0

어텐션 가중치가 학습되는 파라메터가 아니라고 하셨는데요. k,q,v 자체는 학습 파라메터가 맞지만 어텐션 가중치(attention score)는 q와 k로 부터 만들기 때문에 학습 파라메터가 아니다 라고 하신거 맞죠?

pytorch gpt-2 self-attention transformer llm

답변 1

0

박해선

네 맞습니다. k q v를 만드는 선형 층의 가중치는 학습되는 모델 파라미터이지만 어텐션 가중치는 k q로 계산되는 결괏값입니다.

죄송합니다. 해설 강의 관련 문의드립니다..!

0

51

2

해설강의 쿠폰 가능할까요??

0

76

3

해설강의 쿠폰 놓쳤는데, 재발급 가능할까요?

0

75

2

<CH 4.1> "LLM구조 구현하기" 장 마지막의 Logits 차원에 대한 문의

0

72

1

CH3의 맨 처음에 등장하는 '임베딩 입력 시퀀스' 텐서 값은 임의의 숫자인가요?

0

49

1

그림 4-5의 분산 값 문의드립니다.

1

64

1

챌린지 완수 조건 문의 드립니다.

0

74

2

해설강의 쿠폰 발행 문의

0

69

2

해설 쿠폰 관련 문의

0

43

2

쿠폰 관련 문의

0

57

3

쿠폰 관련하여 문의드립니다.

0

62

3

해설 쿠폰 관련...

0

39

2

코드 해설 강의 쿠폰 관련 문의

0

86

2

강의 쿠폰 관련 문의드립니다.

0

91

1

p63 질문

0

46

2

주차별 진도 확인하는거 어디에 있는지 알수있을까요?

0

70

2

임베딩 초기화

0

53

1

오타 발견했어요 >_<

0

50

1

8강 부터는 영상이 안나오는게 정상인가요?

0

72

1

강의 쿠폰 문의드립니다.

0

67

2

쿠폰 재발급

0

90

4

2.1 단어 임베딩 이해하기에서 차원 얘기에서

0

115

2

4장 강의는 아직 업로드가 안된걸까요?

0

61

1

코드 2-3 출력 결과 비교

0

56

1