질문&답변
안녕하세요. PyTorch에서 nn.Module은 모든 신경망 모듈의 기본 클래스입니다. MyRNN이 nn.Module을 상속받는다는 것은, 신경망의 기본 구조와 기능을 상속받아 사용할 수 있다는 것입니다. 더 자세한 내용은 PyTorch 공식 문서( https://pytorch.org/docs/stable/generated/torch.nn.Module.html)에서 확인하실 수 있습니다. 또 궁금하신점 있으시면 질문주세요. 감사합니다
질문&답변
안녕하세요. RNN(Recurrent Neural Network)에서 내부 상태(internal state)는 네트워크의 핵심 요소입니다. 내부 상태는 일반적으로 은닉 상태(hidden state)라고 불리며, 은닉층의 일부로 볼 수 있습니다. RNN의 내부 상태는 다음과 같은 특징을 가집니다: 시간적 정보 유지: 내부 상태는 이전 시점의 정보를 저장하고 다음 시점으로 전달합니다. 이를 통해 RNN은 시퀀스 데이터의 시간적 의존성을 모델링할 수 있습니다. 메모리 역할: 내부 상태는 네트워크의 메모리로 작용하여 과거 입력의 정보를 요약해 저장합니다. 재귀적 연결: 내부 상태는 자기 자신에게 피드백되는 재귀적 연결을 통해 갱신됩니다. 즉, 현재 시점의 상태는 이전 시점의 상태와 현재 입력에 의해 결정됩니다.
질문&답변
안녕하세요. 질문 감사합니다. 강의중 타입 오류가 있었던점 사과드립니다. https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb 에 보시면, MaskedMultiheadAttention 선언부분이 있습니다. class MaskedMultiheadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() attention_dim = embed_dim // num_heads self.attentions = nn.ModuleList([MaskedSelfAttention(embed_dim, attention_dim) for _ in range(num_heads)]) self.fc = nn.Linear(embed_dim, embed_dim)
