묻고 답해요
156만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결직관적으로 이해하는 딥러닝 트랜스포머
모듈
안녕하세요 실습 구현 RNN에서 MyRNN이 모듈을 상속받는단게 어떤 의미인지 알 수 있을까요?
-
미해결직관적으로 이해하는 딥러닝 트랜스포머
state
안녕하세요! 강의에서 설명해주시는 state가 은닉층 하나를 의미하는건지 궁금합니다:)
-
미해결직관적으로 이해하는 딥러닝 트랜스포머
Transformer Decoder 강의에서 "MaskedMultihadAttention"클래스 질문
안녕하세요. 설명을 너무 잘해주셔서 Transformer에 대한 이해도가 높아졌습니다. 감사합니다.강의 중 이해안되는 부분이 있어 질문드립니다. "Char Level GPT 만들기"강의 중 MaskedMultiheadAttention 클래스 선언 부분의 attention 객체 만드는 부분의 매개변수가 이해가 안갑니다. Class MaskedMultiheadAttention(nn.Module): def init(self, embed_dim, num_heads): ... self.attentions = nn.ModuleList([MaskedSelfAttention(attention_dim, attention_dim) for in range(num_heads)] ... 위에 attention 객체 생성할 때 입력단자로 attention_dim이 들어가게 되는데 embed_dim 이 들어가야 하는게 아닐까요? 선택사항이라고 하기에는 TrnsformerDecoderBlock 클래스 선언한 걸 보면 layer_norm1을 emed_dim으로 설정해서 그래도 맞지 않는 것 같아서요. 답변 부탁드릴게요!