[NLP ์์ ์ ๋ณต I] Attention์ ํ์: RNNยทSeq2Seq์ ํ๊ณ๋ถํฐ ์ดํ ์ ์ ๊ตฌํํ๋ฉฐ ์ดํดํ๋ NLP
Sotaaz
โฉ49,500
์ ๋ฌธ / Python, ๋ฅ๋ฌ๋, PyTorch, attention-model, transformer
์ Attention์ด ํ์ํ๋์ง, ๊ทธ๋ฆฌ๊ณ ์ด๋ป๊ฒ ๋์ํ๋์ง โ์ฝ๋๋ก ์ง์ ๊ตฌํํ๋ฉฐโ ์ดํดํฉ๋๋ค. ์ด ๊ฐ์๋ RNN๊ณผ Seq2Seq ๋ชจ๋ธ์ ๊ตฌ์กฐ์ ํ๊ณ์์ ์ถ๋ฐํ์ฌ, ๊ณ ์ ๋ ์ปจํ ์คํธ ๋ฒกํฐ๊ฐ ๋ง๋ค์ด๋ด๋ ์ ๋ณด ๋ณ๋ชฉ ๋ฌธ์ , ์ฅ๊ธฐ ์์กด์ฑ ๋ฌธ์ ๋ฅผ ์คํ์ผ๋ก ๊ฒ์ฆํ๊ณ ๊ทธ ํ๊ณ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด Attention์ด ์ด๋ป๊ฒ ๋ฑ์ฅํ๋์ง๋ฅผ ์์ฐ์ค๋ฝ๊ฒ ์ด์ด์ ์ค๋ช ํฉ๋๋ค. ๋จ์ํ ๊ฐ๋ ์ ์๊ฐํ๋ ๊ฒ์ด ์๋๋ผ, RNN์ ๊ตฌ์กฐ์ ํ๊ณ์ Seq2Seq์ ์ ๋ณด ๋ณ๋ชฉ ๋ฌธ์ ๋ฅผ ์ง์ ์คํ์ผ๋ก ํ์ธํ๊ณ , ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ฑ์ฅํ **Bahdanau Attention(๊ฐ์ฐ์ ์ดํ ์ )**๊ณผ **Luong Attention(์ ๊ณฑ ์ดํ ์ )**์ ํ๋์ฉ ๊ตฌํํ๋ฉฐ ๊ทธ ์ฐจ์ด๋ฅผ ๋ช ํํ๊ฒ ์ดํดํฉ๋๋ค. ๊ฐ ์ดํ ์ ์ด ์ด๋ค ๋ฐฉ์์ผ๋ก QueryโKeyโValue ๊ด๊ณ๋ฅผ ํ์ฑํ๊ณ , ๊ฐ์ค์น๋ฅผ ๊ณ์ฐํ๋ ๊ณผ์ ์์ ์ด๋ค ์ํ์ ยท์ง๊ด์ ์ฐจ์ด๋ฅผ ๊ฐ์ง๋ฉฐ, ์ ํ๋ ๋ชจ๋ธ๋ก ์ด์ด์ง ์๋ฐ์ ์์๋์ง ๊ทธ ํน์ฑ๊ณผ ์งํ ํ๋ฆ๊น์ง ์์ฐ์ค๋ฝ๊ฒ ์ฐ๊ฒฐ๋ฉ๋๋ค. Attention์ด ๋ฌธ์ฅ๊ณผ ๋จ์ด๋ฅผ ์ด๋ป๊ฒ ๋ฐ๋ผ๋ณด๊ณ , ๊ฐ ๋จ์ด๊ฐ ์ด๋ค ๋ฐฉ์์ผ๋ก ์ค์๋๋ฅผ ๋ถ์ฌ๋ฐ์ ์ ๋ณด๋ฅผ ํตํฉํ๋์ง๋ฅผ ์์ โ ์ง๊ด โ ์ฝ๋ โ ์คํ์ด ํ๋๋ก ์ด์ด์ง ํํ๋ก ํ์ตํฉ๋๋ค. ์ด ๊ฐ์๋ Transformer๋ฅผ ์ ๋๋ก ์ดํดํ๊ธฐ ์ํ โ๊ธฐ์ด ์ฒด๋ ฅโ์ ์๋ ๊ณผ์ ์ผ๋ก, Attention์ด๋ผ๋ ๊ฐ๋ ์ด ์ ํ๋ช ์ ์ด์๋์ง, ๊ทธ๋ฆฌ๊ณ ์ดํ์ ๋ชจ๋ ์ต์ NLP ๋ชจ๋ธ(Transformer, BERT, GPT ๋ฑ)์ด ์ Attention์ ํต์ฌ ๊ตฌ์ฑ์์๋ก ์ผ๋์ง๋ฅผ ๊น์ด ์๊ฒ ์ดํดํ๊ฒ ๋ฉ๋๋ค. RNN โ Seq2Seq โ Attention์ผ๋ก ์ด์ด์ง๋ ํ๋ฆ์ ๊ฐ๋ ์ด ์๋๋ผ ์ฝ๋์ ์คํ์ผ๋ก ์ฒดํํ๊ณ ์ถ์ ํ์ต์์๊ฒ ์ต์ ํ๋ ๊ฐ์์ ๋๋ค.
์ ๋ฌธ
Python, ๋ฅ๋ฌ๋, PyTorch







![[PyTorch] ์ฝ๊ณ ๋น ๋ฅด๊ฒ ๋ฐฐ์ฐ๋ NLP๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/325056/course_cover/b66025dd-43f5-4a96-8627-202b9ba9e038/pytorch-nlp-eng.png?w=420)



![[2026]๋น
๋ถ๊ธฐ ์ค๊ธฐ! ๊ธฐ์ถ ๋ฌธ์ ํ์ด๋ก ํ ๋ฐฉ์ ํฉ๊ฒฉํ๊ธฐ(ํ์ด์ฌ)๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/335162/cover/0f544e4f-b04e-40d3-bc8e-b3c4d8a2616f/335162.png?w=420)
![[ํด๊ทผํ๋ด์ง] ๋น
๋ฐ์ดํฐ ๋ถ์๊ธฐ์ฌ ์ค๊ธฐ (์์
ํ1,2,3)๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/329972/cover/dcfb28fd-48c1-4bb1-ab31-d59eac874194/329972-original.png?w=420)
