Courses
Reviews
Posts
Q&A
๋ชจ๋
์๋ ํ์ธ์. PyTorch์์ nn.Module์ ๋ชจ๋ ์ ๊ฒฝ๋ง ๋ชจ๋์ ๊ธฐ๋ณธ ํด๋์ค์ ๋๋ค. MyRNN์ด nn.Module์ ์์๋ฐ๋๋ค๋ ๊ฒ์, ์ ๊ฒฝ๋ง์ ๊ธฐ๋ณธ ๊ตฌ์กฐ์ ๊ธฐ๋ฅ์ ์์๋ฐ์ ์ฌ์ฉํ ์ ์๋ค๋ ๊ฒ์ ๋๋ค. ๋ ์์ธํ ๋ด์ฉ์ PyTorch ๊ณต์ ๋ฌธ์(https://pytorch.org/docs/stable/generated/torch.nn.Module.html)์์ ํ์ธํ์ค ์ ์์ต๋๋ค.๋ ๊ถ๊ธํ์ ์ ์์ผ์๋ฉด ์ง๋ฌธ์ฃผ์ธ์. ๊ฐ์ฌํฉ๋๋ค
- 0
- 1
- 52
Q&A
state
์๋ ํ์ธ์.RNN(Recurrent Neural Network)์์ ๋ด๋ถ ์ํ(internal state)๋ ๋คํธ์ํฌ์ ํต์ฌ ์์์ ๋๋ค. ๋ด๋ถ ์ํ๋ ์ผ๋ฐ์ ์ผ๋ก ์๋ ์ํ(hidden state)๋ผ๊ณ ๋ถ๋ฆฌ๋ฉฐ, ์๋์ธต์ ์ผ๋ถ๋ก ๋ณผ ์ ์์ต๋๋ค.RNN์ ๋ด๋ถ ์ํ๋ ๋ค์๊ณผ ๊ฐ์ ํน์ง์ ๊ฐ์ง๋๋ค:์๊ฐ์ ์ ๋ณด ์ ์ง: ๋ด๋ถ ์ํ๋ ์ด์ ์์ ์ ์ ๋ณด๋ฅผ ์ ์ฅํ๊ณ ๋ค์ ์์ ์ผ๋ก ์ ๋ฌํฉ๋๋ค. ์ด๋ฅผ ํตํด RNN์ ์ํ์ค ๋ฐ์ดํฐ์ ์๊ฐ์ ์์กด์ฑ์ ๋ชจ๋ธ๋งํ ์ ์์ต๋๋ค.๋ฉ๋ชจ๋ฆฌ ์ญํ : ๋ด๋ถ ์ํ๋ ๋คํธ์ํฌ์ ๋ฉ๋ชจ๋ฆฌ๋ก ์์ฉํ์ฌ ๊ณผ๊ฑฐ ์ ๋ ฅ์ ์ ๋ณด๋ฅผ ์์ฝํด ์ ์ฅํฉ๋๋ค.์ฌ๊ท์ ์ฐ๊ฒฐ: ๋ด๋ถ ์ํ๋ ์๊ธฐ ์์ ์๊ฒ ํผ๋๋ฐฑ๋๋ ์ฌ๊ท์ ์ฐ๊ฒฐ์ ํตํด ๊ฐฑ์ ๋ฉ๋๋ค. ์ฆ, ํ์ฌ ์์ ์ ์ํ๋ ์ด์ ์์ ์ ์ํ์ ํ์ฌ ์ ๋ ฅ์ ์ํด ๊ฒฐ์ ๋ฉ๋๋ค.
- 0
- 2
- 54
Q&A
Transformer Decoder ๊ฐ์์์ "MaskedMultihadAttention"ํด๋์ค ์ง๋ฌธ
์๋ ํ์ธ์. ์ง๋ฌธ ๊ฐ์ฌํฉ๋๋ค. ๊ฐ์์ค ํ์ ์ค๋ฅ๊ฐ ์์๋์ ์ฌ๊ณผ๋๋ฆฝ๋๋ค.https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/bibleGPT.ipynb์ ๋ณด์๋ฉด, MaskedMultiheadAttention ์ ์ธ๋ถ๋ถ์ด ์์ต๋๋ค. class MaskedMultiheadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() attention_dim = embed_dim // num_heads self.attentions = nn.ModuleList([MaskedSelfAttention(embed_dim, attention_dim) for _ in range(num_heads)]) self.fc = nn.Linear(embed_dim, embed_dim)
- 0
- 1
- 91