[NLP ์์ ์ ๋ณต I] Attention์ ํ์: RNNยทSeq2Seq์ ํ๊ณ๋ถํฐ ์ดํ ์ ์ ๊ตฌํํ๋ฉฐ ์ดํดํ๋ NLP
Sotaaz
โฉ49,500
์ ๋ฌธ / Python, ๋ฅ๋ฌ๋, PyTorch, attention-model, transformer
์ Attention์ด ํ์ํ๋์ง, ๊ทธ๋ฆฌ๊ณ ์ด๋ป๊ฒ ๋์ํ๋์ง โ์ฝ๋๋ก ์ง์ ๊ตฌํํ๋ฉฐโ ์ดํดํฉ๋๋ค. ์ด ๊ฐ์๋ RNN๊ณผ Seq2Seq ๋ชจ๋ธ์ ๊ตฌ์กฐ์ ํ๊ณ์์ ์ถ๋ฐํ์ฌ, ๊ณ ์ ๋ ์ปจํ ์คํธ ๋ฒกํฐ๊ฐ ๋ง๋ค์ด๋ด๋ ์ ๋ณด ๋ณ๋ชฉ ๋ฌธ์ , ์ฅ๊ธฐ ์์กด์ฑ ๋ฌธ์ ๋ฅผ ์คํ์ผ๋ก ๊ฒ์ฆํ๊ณ ๊ทธ ํ๊ณ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด Attention์ด ์ด๋ป๊ฒ ๋ฑ์ฅํ๋์ง๋ฅผ ์์ฐ์ค๋ฝ๊ฒ ์ด์ด์ ์ค๋ช ํฉ๋๋ค. ๋จ์ํ ๊ฐ๋ ์ ์๊ฐํ๋ ๊ฒ์ด ์๋๋ผ, RNN์ ๊ตฌ์กฐ์ ํ๊ณ์ Seq2Seq์ ์ ๋ณด ๋ณ๋ชฉ ๋ฌธ์ ๋ฅผ ์ง์ ์คํ์ผ๋ก ํ์ธํ๊ณ , ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ฑ์ฅํ **Bahdanau Attention(๊ฐ์ฐ์ ์ดํ ์ )**๊ณผ **Luong Attention(์ ๊ณฑ ์ดํ ์ )**์ ํ๋์ฉ ๊ตฌํํ๋ฉฐ ๊ทธ ์ฐจ์ด๋ฅผ ๋ช ํํ๊ฒ ์ดํดํฉ๋๋ค. ๊ฐ ์ดํ ์ ์ด ์ด๋ค ๋ฐฉ์์ผ๋ก QueryโKeyโValue ๊ด๊ณ๋ฅผ ํ์ฑํ๊ณ , ๊ฐ์ค์น๋ฅผ ๊ณ์ฐํ๋ ๊ณผ์ ์์ ์ด๋ค ์ํ์ ยท์ง๊ด์ ์ฐจ์ด๋ฅผ ๊ฐ์ง๋ฉฐ, ์ ํ๋ ๋ชจ๋ธ๋ก ์ด์ด์ง ์๋ฐ์ ์์๋์ง ๊ทธ ํน์ฑ๊ณผ ์งํ ํ๋ฆ๊น์ง ์์ฐ์ค๋ฝ๊ฒ ์ฐ๊ฒฐ๋ฉ๋๋ค. Attention์ด ๋ฌธ์ฅ๊ณผ ๋จ์ด๋ฅผ ์ด๋ป๊ฒ ๋ฐ๋ผ๋ณด๊ณ , ๊ฐ ๋จ์ด๊ฐ ์ด๋ค ๋ฐฉ์์ผ๋ก ์ค์๋๋ฅผ ๋ถ์ฌ๋ฐ์ ์ ๋ณด๋ฅผ ํตํฉํ๋์ง๋ฅผ ์์ โ ์ง๊ด โ ์ฝ๋ โ ์คํ์ด ํ๋๋ก ์ด์ด์ง ํํ๋ก ํ์ตํฉ๋๋ค. ์ด ๊ฐ์๋ Transformer๋ฅผ ์ ๋๋ก ์ดํดํ๊ธฐ ์ํ โ๊ธฐ์ด ์ฒด๋ ฅโ์ ์๋ ๊ณผ์ ์ผ๋ก, Attention์ด๋ผ๋ ๊ฐ๋ ์ด ์ ํ๋ช ์ ์ด์๋์ง, ๊ทธ๋ฆฌ๊ณ ์ดํ์ ๋ชจ๋ ์ต์ NLP ๋ชจ๋ธ(Transformer, BERT, GPT ๋ฑ)์ด ์ Attention์ ํต์ฌ ๊ตฌ์ฑ์์๋ก ์ผ๋์ง๋ฅผ ๊น์ด ์๊ฒ ์ดํดํ๊ฒ ๋ฉ๋๋ค. RNN โ Seq2Seq โ Attention์ผ๋ก ์ด์ด์ง๋ ํ๋ฆ์ ๊ฐ๋ ์ด ์๋๋ผ ์ฝ๋์ ์คํ์ผ๋ก ์ฒดํํ๊ณ ์ถ์ ํ์ต์์๊ฒ ์ต์ ํ๋ ๊ฐ์์ ๋๋ค.
์ ๋ฌธ
Python, ๋ฅ๋ฌ๋, PyTorch












![[PyTorch] ์ฝ๊ณ ๋น ๋ฅด๊ฒ ๋ฐฐ์ฐ๋ NLP๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/325056/course_cover/b66025dd-43f5-4a96-8627-202b9ba9e038/pytorch-nlp-eng.png?w=420)
![[๊ฐ์ ํ] ๋ฅ๋ฌ๋ ์ปดํจํฐ ๋น์ ์๋ฒฝ ๊ฐ์ด๋๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/325035/cover/f4bbef4d-d9a9-4def-a3a5-738a9eed8245/325035-eng.jpg?w=420)
![[๋ชจ๋ฐ์ผ] ๋ฅ๋ฌ๋ Computer Vision ์ค์ ํ๋ก์ ํธ๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/324985/course_cover/6bedded2-1f32-4d11-be03-6e5bf5a3b488/sjh-mobile-cv.png?w=420)


![[2026 AI ํธ๋ ๋] ์ ํ ๋ค๋ฅธ ์์ฑํ AI : ๊ฐ์ธ๊ณผ ๊ธฐ์
์ ์ด๋ป๊ฒ AI์ ๊ณต์กดํ ๊ฒ์ธ๊ฐ๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/files/courses/341884/cover/ai/2/9c616b32-aa40-411a-8805-b95cb53ba57a.png?w=420)
![[OT(์ ์กฐ์
) ๋ณด์] 4๋ ์ ์กฐ ์ฐ์
๋ง์คํฐ ํด๋์ค๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/files/courses/342823/cover/ai/3/d8a24ae4-a719-4167-b6c9-88c40dbbf133.png?w=420)