모듈

안녕하세요. PyTorch에서 nn.Module은 모든 신경망 모듈의 기본 클래스입니다. MyRNN이 nn.Module을 상속받는다는 것은, 신경망의 기본 구조와 기능을 상속받아 사용할 수 있다는 것입니다. 더 자세한 내용은 PyTorch 공식 문서(https://pytorch.org/docs/stable/generated/torch.nn.Module.html)에서 확인하실 수 있습니다.또 궁금하신점 있으시면 질문주세요. 감사합니다

state

안녕하세요.RNN(Recurrent Neural Network)에서 내부 상태(internal state)는 네트워크의 핵심 요소입니다. 내부 상태는 일반적으로 은닉 상태(hidden state)라고 불리며, 은닉층의 일부로 볼 수 있습니다.RNN의 내부 상태는 다음과 같은 특징을 가집니다:시간적 정보 유지: 내부 상태는 이전 시점의 정보를 저장하고 다음 시점으로 전달합니다. 이를 통해 RNN은 시퀀스 데이터의 시간적 의존성을 모델링할 수 있습니다.메모리 역할: 내부 상태는 네트워크의 메모리로 작용하여 과거 입력의 정보를 요약해 저장합니다.재귀적 연결: 내부 상태는 자기 자신에게 피드백되는 재귀적 연결을 통해 갱신됩니다. 즉, 현재 시점의 상태는 이전 시점의 상태와 현재 입력에 의해 결정됩니다.

Transformer Decoder 강의에서 "MaskedMultihadAttention"클래스 질문

안녕하세요. 질문 감사합니다. 강의중 타입 오류가 있었던점 사과드립니다.https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb에 보시면, MaskedMultiheadAttention 선언부분이 있습니다. class MaskedMultiheadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() attention_dim = embed_dim // num_heads self.attentions = nn.ModuleList([MaskedSelfAttention(embed_dim, attention_dim) for _ in range(num_heads)]) self.fc = nn.Linear(embed_dim, embed_dim)