nocope

안녕하세요. PyTorch에서 nn.Module은 모든 신경망 모듈의 기본 클래스입니다. MyRNN이 nn.Module을 상속받는다는 것은, 신경망의 기본 구조와 기능을 상속받아 사용할 수 있다는 것입니다. 더 자세한 내용은 PyTorch 공식 문서(<a target="_blank" rel="noopener noreferrer nofollow" href="https://pytorch.org/docs/stable/generated/torch.nn.Module.html)에서">https://pytorch.org/docs/stable/generated/torch.nn.Module.html)에서</a> 확인하실 수 있습니다. 또 궁금하신점 있으시면 질문주세요. 감사합니다

모듈

안녕하세요. RNN(Recurrent Neural Network)에서 내부 상태(internal state)는 네트워크의 핵심 요소입니다. 내부 상태는 일반적으로 은닉 상태(hidden state)라고 불리며, 은닉층의 일부로 볼 수 있습니다.RNN의 내부 상태는 다음과 같은 특징을 가집니다:<ol><li>시간적 정보 유지: 내부 상태는 이전 시점의 정보를 저장하고 다음 시점으로 전달합니다. 이를 통해 RNN은 시퀀스 데이터의 시간적 의존성을 모델링할 수 있습니다.</li><li>메모리 역할: 내부 상태는 네트워크의 메모리로 작용하여 과거 입력의 정보를 요약해 저장합니다.</li><li>재귀적 연결: 내부 상태는 자기 자신에게 피드백되는 재귀적 연결을 통해 갱신됩니다. 즉, 현재 시점의 상태는 이전 시점의 상태와 현재 입력에 의해 결정됩니다.</li></ol>

state

안녕하세요. 질문 감사합니다. 강의중 타입 오류가 있었던점 사과드립니다. <a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb">https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb</a>에 보시면, MaskedMultiheadAttention 선언부분이 있습니다.&nbsp;<pre><code>class MaskedMultiheadAttention(nn.Module):
 def __init__(self, embed_dim, num_heads):
 super().__init__()
 attention_dim = embed_dim // num_heads
 self.attentions = nn.ModuleList([MaskedSelfAttention(embed_dim, attention_dim) for _ in range(num_heads)])
 self.fc = nn.Linear(embed_dim, embed_dim)
</code></pre>

nocope

Bài viết