inflearn logo
็Ÿฅ่ญ˜ๅ…ฑๆœ‰
inflearn logo

[NLPๅฎŒๅ…จๆ”ป็•ฅ II] Transformerๆง‹้€ ่งฃๅ‰–๏ผšAttentionๆ‹กๅผตใ‹ใ‚‰ใƒขใƒ‡ใƒซๅ…จไฝ“ใฎ็ต„ใฟ็ซ‹ใฆใ€ๅญฆ็ฟ’ใพใง

ใ“ใฎOnline Classesใฏใ€Transformerใ‚’ๅ˜ใซใ€ŒๅฎŸ่ฃ…ใ™ใ‚‹ๆ–นๆณ•ใ€ใงใฏใชใใ€ ใชใœใ“ใฎใ‚ˆใ†ใชๆง‹้€ ใŒไฝœใ‚‰ใ‚ŒใŸใฎใ‹ใ€ๅ„ใƒขใ‚ธใƒฅใƒผใƒซใŒใฉใฎใ‚ˆใ†ใชๅฝนๅ‰ฒใ‚’ๆžœใŸใ™ใฎใ‹ใ€ ใใ—ใฆใƒขใƒ‡ใƒซๅ…จไฝ“ใŒใฉใฎใ‚ˆใ†ใซๅ‹•ไฝœใ™ใ‚‹ใฎใ‹ใ‚’่จญ่จˆ่€…ใฎ่ฆ–็‚นใ‹ใ‚‰่งฃๅ‰–ใ™ใ‚‹้Ž็จ‹ใงใ™ใ€‚ Self-AttentionใจMulti-Head Attentionใฎๅ†…้ƒจ่จˆ็ฎ—ๅŽŸ็†ใ‚’ๆทฑใๅˆ†ๆžใ—ใ€ Positional Encodingใ€Feed-Forward Networkใ€EncoderใƒปDecoderๆง‹้€ ใŒ ใฉใฎใ‚ˆใ†ใช้™็•Œใ‚’่งฃๆฑบใ™ใ‚‹ใŸใ‚ใซ็™ปๅ ดใ—ใŸใฎใ‹ใ‚’ๆ•ฐๅผใƒป่ซ–ๆ–‡ใƒปๅฎŸ่ฃ…ใ‚ณใƒผใƒ‰ใง็›ดๆŽฅ็ขบ่ชใ—ใพใ™ใ€‚ Attentionใ‹ใ‚‰ๅ‡บ็™บใ—ใฆTransformerๅ…จไฝ“ใฎๆง‹้€ ใ‚’็›ดๆŽฅ็ต„ใฟ็ซ‹ใฆใ€ ๅฎŸ้š›ใซๅญฆ็ฟ’ใพใงๅฎŸ่กŒใ—ใชใŒใ‚‰ใƒขใƒ‡ใƒซใŒใฉใฎใ‚ˆใ†ใซๅ‹•ไฝœใ™ใ‚‹ใฎใ‹ใ‚’ไฝ“ๅพ—ใ—ใพใ™ใ€‚ ใ“ใฎOnline Classesใฏใ€ŒTransformerใ‚’ๅฎŒๅ…จใซ็†่งฃใ—ใŸใ„ไบบใ€ใฎใŸใ‚ใฎ ๆœ€ใ‚‚ๆง‹้€ ็š„ใงๅฎŸ่ทต็š„ใชใƒญใƒผใƒ‰ใƒžใƒƒใƒ—ใงใ™ใ€‚

้›ฃๆ˜“ๅบฆ ๅˆ็ดš

ๅ—่ฌ›ๆœŸ้–“ ็„กๅˆถ้™

Python
Python
transformer
transformer
self-attention
self-attention
PyTorch
PyTorch
Python
Python
transformer
transformer
self-attention
self-attention
PyTorch
PyTorch

ไป–ใฎๅ—่ฌ›็”ŸใŒใ‚ˆใใ™ใ‚‹่ณชๅ•ใŒๆฐ—ใซใชใ‚Šใพใ™ใ‹๏ผŸ

ใพใ ่ณชๅ•ใŒๆŠ•็จฟใ•ใ‚Œใฆใ„ใพใ›ใ‚“ใ€‚
ๆœ€ๅˆใฎ่ณชๅ•ใ‚’ๆŠ•็จฟใ—ใฆใ€ใ‚คใƒณใƒ•ใƒฉใƒณใจไธ€็ท’ใซๆˆ้•ทใ—ใพใ—ใ‚‡ใ†๏ผ

๏ฟฅ8,332