ๅฎ่ฃ ใใชใใๅญฆใถTransformer
Multi Head AttentionใใๅงใพใใOriginal TransformerใขใใซใBERTใEncoder-DecoderใใผในใฎMarianMT็ฟป่จณใขใใซใVision Transformerใพใงใใณใผใใง็ดๆฅๅฎ่ฃ ใใชใใTransformerใซใคใใฆ้ ใ ใพใงๅญฆใถใใจใใงใใพใใ
ๅ่ฌ็ 282ๅ
้ฃๆๅบฆ ไธญ็ดไปฅไธ
ๅ่ฌๆ้ ็กๅถ้
- ๆช่งฃๆฑบ
Embedding ๋ชจ๋ธ fine tuning ๊ด๋ จ ์ง๋ฌธ
๊ฐ์ฌ๋ ์๋ ํ์ธ์? 10๋ ์ ์ฏค ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ๊ฐ์ด๋, CNN ์๋ฒฝ๊ฐ์ด๋๋ฅผ ์๊ฐํ๊ณ ๋ง์ ๋์์ ๋ฐ์๋๋ฐ, Transformer ๊ฐ์๋ฅผ ๋ด์ จ๊ธธ๋ ๋ฐ๊ฐ์ด ๋ง์์ผ๋ก ๋ฐ๋ก ๊ตฌ๋งคํ์ต๋๋ค ใ ใ
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformeraquarid22
ใป
25ๆฅๅ
0
59
2
- ๆช่งฃๆฑบ
์ฝ๋์ ์คํ๊ฐ ์๋ ๊ฒ ๊ฐ์ต๋๋ค
์๋ ํ์ธ์, ๊ฐ์ฌ๋ ๊ฐ์ ์ด์ฌํ ์ ๋ฃ๊ณ ์์ต๋๋ค.visionTransformer์์ฑ ๋ถ๋ถ์์,์ ๊ฐ ์๋ชป
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerlovewrite0301105292
ใป
1ใถๆๅ
0
43
2
- ๆช่งฃๆฑบ
์ฝ๋ ์คํ๊ฐ ์๋๊ฒ ๊ฐ์ต๋๋ค.
torch.manual_seed(123) HIDDEN_SIZE = 256 NUM_HEADS = 4 DEC_Q_SEQ_LEN = 10 ENC_K_SEQ_LEN = 20 BATCH_SIZE = 2 dec_t
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerjsmak6174
ใป
1ใถๆๅ
0
58
2
- ๆช่งฃๆฑบ
ํธ๋์คํฌ๋จธ ๋ชจ๋ธ ๊ตฌ์กฐ์์ Encode-Decoder Attenttion์ ๋ํด์
์๋ ํ์ธ์.. ๋ค์ ๋ ๊ถ๊ธํ ๊ฒ์ด ์๊ฒผ์ต๋๋ค.ํธ๋์คํฌ๋จธ์ ๊ฐ ์ธ์ฝ๋ ๋ธ๋ญ์ ์ถ๋ ฅ์ด ๋์ฝ๋ ๋ธ๋ญ์ Encode-Decoder Attention ์ผ๋ก ๋ค์ด๊ฐ๊ฒ ๋๋
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformersansanai
ใป
2ใถๆๅ
0
56
2
- ๆช่งฃๆฑบ
ํธ๋์คํฌ๋จธ ๊ตฌ์กฐ์์ ๋ธ๋ญ๊ฐฏ์์ ๋ํด์
์๋ ํ์ธ์.. ํธ๋์คํฌ๋จธ ๊ตฌ์กฐ์์ Encoder ๋ธ๋ญ์ ๊ฐฏ์์ Decoder ๋ธ๋ญ์ ๊ฐฏ์๊ฐ ๋์ผํด์ผ ํ๋ ๊ฒ์ธ๊ฐ์? ์๋๋ฉด Encoder -Decoder A
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformersansanai
ใป
2ใถๆๅ
0
46
2
- ๆช่งฃๆฑบ
RNN์์ ์ถ๋ ฅ y์๋ํด์..
์๋ ํ์ธ์.. RNN๋ชจ๋ธ ์ค๋ช ์์, ๊ถ๊ธํ ๊ฒ์ด ์์ต๋๋ค. y_i = h_i ๊ฐ ๋๋ ๊ฒ์ธ๊ฐ์?
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformersansanai
ใป
2ใถๆๅ
0
45
1
- ๆช่งฃๆฑบ
embedding ๊ฐ ์๊ฐํ ํด๋ณด๊ธฐ์์
์๋ ํ์ธ์..16๊ฐ ์๋ฒ ๋ฉ ๊ฐ ์๊ฐํ ํด๋ณด๊ธฐ์์ ๊ถ๊ธํ ๊ฒ์ด ์์ต๋๋ค.๋ฒํธ ํ ํฌ๋์ด์ ์ ๋ชจ๋ธ์ ๋ค์ด๋ก๋ ๋ฐ์ ๋ ๋ค์๊ณผ ๊ฐ์ ์ค๋ฅ๊ฐ ๋ฌ๋๋ฐ..202
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformersansanai
ใป
2ใถๆๅ
0
40
1
- ่งฃๆฑบ
length_penalty ๋ถ๋ถ์ด ์๋ ๊ฒ ๊ฐ์ต๋๋ค.
130๊ฐ ๋๋ ์ฆ์์ ๋ค์ ์น์ ์ด ์๋๋ผ length_penalty์ ๋ํ ์ค๋ช ์ ํด์ฃผ์ ๋ค๊ณ ํ์ จ๋๋ฐ ์๋ ๊ฒ ๊ฐ์ต๋๋ค!
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerjcy40236396
ใป
2ใถๆๅ
1
41
1
- ๆช่งฃๆฑบ
๋ฉํฐ ํค๋ ์ ํ ์ดํ ์ ์์ Wq, Wk, Wv์ ๊ตฌ์กฐ ๊ด๋ จ ์ง๋ฌธ
ํ๋ฐ๋ถ ์ฌ๋ผ์ด๋ ๊ทธ๋ฆผ์ Wq, Wk, Wv ํ๋๋ก ๊ณ์ฐ์ด ๋์ด ํค๋๋ณ๋ก ๋๋์ด์ง๋ค๋ ํํ๊ฐ์ด ๋ณด์ด๋๋ฐ, ์คํด์ ์์ง๊ฐ ์๋๊ฒ ๊ฐ์ต๋๋ค. ๋ง์ฝ Wq, Wk, Wv๊ฐ ๋ฉํฐ ํค๋์ ๊ฐ๊ฐ์ Wq, Wk, Wv๊ฐ concat๋
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerhtchoiphd7861
ใป
3ใถๆๅ
0
66
3
- ๆช่งฃๆฑบ
MLM, NSP ๊ตฌํ ์ฌ๋ถ
์๋ ํ์ธ์ ๊ฐ์ฌ๋.BERT ํ์ต ํํธ์ ๊ด๋ จํ์ฌ ๊ถ๊ธํ ์ ์ด ์์ด ์ง๋ฌธ๋๋ฆฝ๋๋ค. ํ
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerfkid009
ใป
4ใถๆๅ
0
59
2
- ๆช่งฃๆฑบ
bert encoding input_ids.size(1)์ ๋ํ์ฌ
์๋ ํ์ธ์ ๊ฐ์ฌ๋.BERT ๊ด๋ จ ๊ฐ์๋ฅผ ๋งค์ฐ ์ ์ตํ๊ฒ ๋ฃ๊ณ ์์ต๋๋ค. Embeddi
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerfkid009
ใป
4ใถๆๅ
0
51
2
- ๆช่งฃๆฑบ
ํธ๋์คํฌ๋จธ ํ์ต ๊ฐ์
์๋ ํ์ธ์, ๊ฐ์ฌ๋.๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค. ํ ๊ฐ์ง ๊ถ๊ธํ ์ ์ด ์๋๋ฐ์, ํธ๋์ค
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerfkid009
ใป
4ใถๆๅ
0
81
2
- ๆช่งฃๆฑบ
Q, K, V ์ด๊ธฐ ์๋ฒ ๋ฉ
์๋ ํ์ญ๋๊น, ๊ฐ์ฌ๋.ํธ๋์คํฌ๋จธ์ ๋ํ ์ธ์ฌํ๊ณ ๊น์ด ์๋ ๊ฐ์๋ฅผ ์ค๋นํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ๊ฐ์ ์ ๋ง ์ ์ตํ๊ฒ ์ ๋ฃ๊ณ ์์ต๋๋ค. S
๋ฅ๋ฌ๋pytorchencoder-decoderberttransformerfkid009
ใป
5ใถๆๅ
0
60
1

