inflearn logo
강의

講義

知識共有

『ゼロから作るLLM』完読チャレンジ

(YouTube) 層正規化で活性化を正規化する

그림 4-5의 분산 값 문의드립니다.

解決済みの質問

92

hyskim3838

投稿した質問数 3

1

안녕하세요. 강사님

열심히 따라가려고 하는데 생각처럼 진도가 나가지 않네요. ㅡㅡ

그림 4-5의 "층 출력"의 분산=0.39로 되어 있습니다.

137페이지의 평균, 분산 출력 결과를 보면 분산=0.023이 맞아 보여서 문의드립니다.

확인 부탁드립니다.

감사합니다.

pytorch gpt-2 self-attention transformer llm

回答 1

1

haesunpark

안녕하세요. 앗, 그렇네요. 원서 에러타인데 미처 제가 거르지 못했습니다. 소수점 이하 자릿수를 맞추도록 그림 4-5에서 분산 0.39를 0.02로 바꾸어 주세요. 감사합니다!

죄송합니다. 해설 강의 관련 문의드립니다..!

0

113

2

해설강의 쿠폰 가능할까요??

0

138

3

해설강의 쿠폰 놓쳤는데, 재발급 가능할까요?

0

146

2

<CH 4.1> "LLM구조 구현하기" 장 마지막의 Logits 차원에 대한 문의

0

115

1

CH3의 맨 처음에 등장하는 '임베딩 입력 시퀀스' 텐서 값은 임의의 숫자인가요?

0

87

1

챌린지 완수 조건 문의 드립니다.

0

113

2

어텐션 가중치 질문

0

66

1

해설강의 쿠폰 발행 문의

0

109

2

해설 쿠폰 관련 문의

0

84

2

쿠폰 관련 문의

0

110

3

쿠폰 관련하여 문의드립니다.

0

120

3

해설 쿠폰 관련...

0

81

2

코드 해설 강의 쿠폰 관련 문의

0

158

2

강의 쿠폰 관련 문의드립니다.

0

128

1

p63 질문

0

96

2

주차별 진도 확인하는거 어디에 있는지 알수있을까요?

0

116

2

임베딩 초기화

0

77

1

오타 발견했어요 >_<

0

91

1

8강 부터는 영상이 안나오는게 정상인가요?

0

111

1

강의 쿠폰 문의드립니다.

0

109

2

쿠폰 재발급

0

166

4

2.1 단어 임베딩 이해하기에서 차원 얘기에서

0

176

2

4장 강의는 아직 업로드가 안된걸까요?

0

97

1

코드 2-3 출력 결과 비교

0

89

1