inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

직관적으로 이해하는 딥러닝 트랜스포머

Char Level GPT 만들기

Transformer Decoder 강의에서 "MaskedMultihadAttention"클래스 질문

180

안진호

작성한 질문수 1

0

안녕하세요.

설명을 너무 잘해주셔서 Transformer에 대한 이해도가 높아졌습니다. 감사합니다.

강의 중 이해안되는 부분이 있어 질문드립니다.

"Char Level GPT 만들기"강의 중 MaskedMultiheadAttention 클래스 선언 부분의 attention 객체 만드는 부분의 매개변수가 이해가 안갑니다.

 

Class MaskedMultiheadAttention(nn.Module):

   def init(self, embed_dim, num_heads):

       ...

       self.attentions = nn.ModuleList([MaskedSelfAttention(attention_dim, attention_dim) for  in range(num_heads)]
       ...

 

위에 attention 객체 생성할 때 입력단자로 attention_dim이 들어가게 되는데 embed_dim 이 들어가야 하는게 아닐까요?

선택사항이라고 하기에는 TrnsformerDecoderBlock 클래스 선언한 걸 보면 layer_norm1을 emed_dim으로 설정해서 그래도 맞지 않는 것 같아서요.

답변 부탁드릴게요!

 

딥러닝 attention-model transformer

답변 1

0

코드없는 프로그래밍

안녕하세요. 질문 감사합니다. 강의중 타입 오류가 있었던점 사과드립니다.
https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb

에 보시면, MaskedMultiheadAttention 선언부분이 있습니다.

 

class MaskedMultiheadAttention(nn.Module):
    def __init__(self, embed_dim, num_heads):
        super().__init__()
        attention_dim = embed_dim // num_heads
        self.attentions = nn.ModuleList([MaskedSelfAttention(embed_dim, attention_dim) for _ in range(num_heads)])
        self.fc = nn.Linear(embed_dim, embed_dim)

강의 업로드 일정

0

41

1

강의에서 실행하는 데이터(csv파일)은 어디서 다운받나요?

1

42

2

<핸즈온 머신러닝 with 사이킷런, 파이토치> 챌린지 쿠폰 관련 문의드립니다

0

47

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

44

4

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

42

2

강사님 강의 자료와 코드 부탁드립니다.

0

37

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

51

3

전체 과정에 대한 질문입니다.

1

52

1

음성/자막이 이전 강의 것이 나옵니다.

0

35

1

강사님 강의 더 주세요

1

45

1

<핸즈온 머신러닝 with 사이킷런, 파이토치> 예제 코드 해설 쿠폰관련

0

54

3

오랜만에 인사드립니다 강사님

1

49

1

엔비디아, 테슬라, 등등 최근에 많이 오른 주식들 accuracy이슈

1

66

2

밴티지api 막혀서 공매도 잔고설정 으로 다시 로직 설정한 강의에 대해서.

1

71

1

run.py 실행하니 아예 전체다 돌아가요 코드가

1

56

2

run.py 실행시키면, 자동으로 바로 경제 지표 데이터를 수집해요

1

53

2

확통 강의 개강일

1

77

1

터보퀀트(예정)

0

56

1

안녕하세요 강사님

1

79

1

[시험 준비] AICE Associate 단기간 합격을 위한 모의고사 활용 방법 문의

2

81

1

19강 감정분석 강의처럼 api 돌렸는데

1

96

1

완독 챌린지 도서 인정 방법에 대한 문의

0

90

2

모듈

0

134

1

state

0

147

2