Transformer Decoder 강의에서 "MaskedMultihadAttention"클래스 질문
안녕하세요. 질문 감사합니다. 강의중 타입 오류가 있었던점 사과드립니다.https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb에 보시면, MaskedMultiheadAttention 선언부분이 있습니다. class MaskedMultiheadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() attention_dim = embed_dim // num_heads self.attentions = nn.ModuleList([MaskedSelfAttention(embed_dim, attention_dim) for _ in range(num_heads)]) self.fc = nn.Linear(embed_dim, embed_dim)