inflearn logo
inflearn logo
Challenge
์ข…๋ฃŒ

<ใ‚ผใƒญใ‹ใ‚‰ไฝœใ‚ŠใชใŒใ‚‰ๅญฆใถLLM> ๅฎŒ่ชญใƒใƒฃใƒฌใƒณใ‚ธ

ใ“ใฎ์ฑŒ๋ฆฐ์ง€ใฏใ€Ž๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ๋งŒ๋“ค๋ฉด์„œ ๋ฐฐ์šฐ๋Š” LLMใ€๏ผˆ๊ธธ๋ฒ—ใ€2025๏ผ‰ๅ›ณๆ›ธใ‚’7้€ฑ้–“ใ€่จณ่€…ใจไธ€็ท’ใซๅฎŒ่ชญใ™ใ‚‹ใƒใƒฃใƒฌใƒณใ‚ธใงใ™ใ€‚ ใƒใƒฃใƒฌใƒณใ‚ธใจๅ›ณๆ›ธใซ้–ขใ™ใ‚‹็–‘ๅ•ใฏใ€InflearnใพใŸใฏ่จณ่€…ใƒ–ใƒญใ‚ฐ๏ผˆhttps://tensorflow.blog/llm-from-scratch/๏ผ‰ใ€ใ‚ซใ‚ซใ‚ชใƒˆใƒผใ‚ฏใ‚ชใƒผใƒ—ใƒณใƒใƒฃใƒƒใƒˆใƒซใƒผใƒ ๏ผˆhttp://bit.ly/tensor-chatใ€ๅ‚ๅŠ ใ‚ณใƒผใƒ‰๏ผšflow๏ผ‰ใงใ„ใคใงใ‚‚ใŠๅ•ใ„ๅˆใ‚ใ›ใใ ใ•ใ„ใ€‚

PyTorch
gpt-2
self-attention
LLM
book-challenge
haesunpark๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

ใ€ŒๆฉŸๆขฐๅญฆ็ฟ’ใ€ๆ ธๅฟƒใ ใ‘็ด ๆ—ฉใ๏ผใ€ใ€ใ€Œๅคง่ฆๆจก่จ€่ชžใƒขใƒ‡ใƒซใ€ๆ ธๅฟƒใ ใ‘็ด ๆ—ฉใ๏ผใ€ใฎๆœฌใŒๅ‡บ็‰ˆใ•ใ‚Œใพใ—ใŸใ€‚

ใ“ใ‚“ใซใกใฏใ€‚ใƒ‘ใ‚ฏใƒปใƒ˜ใ‚ฝใƒณใงใ™ใ€‚

ๆฅฝใ—ใ„้€ฑๆœซใ‚’ใŠ้Žใ”ใ—ใงใ—ใ‚‡ใ†ใ‹๏ผŸ๐Ÿ™‚ ๆ–ฐใ—ใ„ๆœฌใฎๅ‡บ็‰ˆใฎใŠ็Ÿฅใ‚‰ใ›ใŒใ‚ใ‚Šใพใ™ใฎใงใ€ใ”ๆกˆๅ†…ใ„ใŸใ—ใพใ™ใ€‚

ใ‚ฌใƒผใƒˆใƒŠใƒผใงๆฉŸๆขฐๅญฆ็ฟ’ใƒใƒผใƒ ใ‚’็އใ„ใฆใ„ใŸใ‚ขใƒณใƒ‰ใƒชใƒปใƒ–ใƒซใ‚ณใƒ•๏ผˆAndriy Burkov๏ผ‰ใŒๆ›ธใ„ใŸHundred-Pageใƒ–ใƒƒใ‚ฏใ‚ทใƒชใƒผใ‚บใŒใ‚คใƒณใ‚ตใ‚คใƒˆๅ‡บ็‰ˆ็คพใ‚’้€šใ˜ใฆๅ‡บ็‰ˆใ•ใ‚Œใพใ—ใŸ๏ผ<The Hundred-Page Machine Learning Book>ใจ<The Hundred-Page Language Models Book>ใฏใฉใกใ‚‰ใ‚‚LeanpubใจAmazonใง้ซ˜ใ„ไบบๆฐ—ใ‚’ๅพ—ใฆใ„ใ‚‹ใƒ™ใ‚นใƒˆใ‚ปใƒฉใƒผใงใ™ใ€‚ใ“ใฎ2ๅ†Šใ‚’ใใ‚Œใžใ‚Œ<๋จธ์‹ ๋Ÿฌ๋‹, ํ•ต์‹ฌ๋งŒ ๋น ๋ฅด๊ฒŒ!>ใ€<๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ, ํ•ต์‹ฌ๋งŒ ๋น ๋ฅด๊ฒŒ!>ใจใ—ใฆ็™บๅฃฒใ—ใพใ—ใŸใ€‚

ใ“ใฎ2ๅ†Šใฏ็†่ซ–ใจๅฎŸไพ‹ใ‚’้€šใ˜ใฆๆฉŸๆขฐๅญฆ็ฟ’ใจๅคง่ฆๆจก่จ€่ชžใƒขใƒ‡ใƒซใฎ็œŸ้ซ„ใ‚’็ขบๅฎŸใซๆŽ˜ใ‚Šไธ‹ใ’ใพใ™ใ€‚200ใƒšใƒผใ‚ธ็จ‹ๅบฆใฎ่–„ใ„ๆœฌใงใ™ใŒใ€ๅŸบ็คŽๆ•ฐๅญฆ็†่ซ–ใ‹ใ‚‰ๆฎต้šŽ็š„ใซ่ธใ‚“ใง้ ‚ไธŠใพใงๅˆฐ้”ใ—ใฆใ„ใใ“ใฎๆœฌใฎใ‚นใ‚ฟใ‚คใƒซใฏ้ฉšใใปใฉ่ช ๅฎŸใงใ€ๆ ธๅฟƒใ‚’ใ‚ˆใๆŠฝๅ‡บใ—ใฆ็››ใ‚Š่พผใ‚“ใงใ„ใพใ™ใ€‚ๆฉŸๆขฐๅญฆ็ฟ’ใจๅคง่ฆๆจก่จ€่ชžใƒขใƒ‡ใƒซใฎๆญฃ็ตฑใ‚’ๅ‘ณใ‚ใ„ใŸใ„ใ™ในใฆใฎๆ–นใซใŠใ™ใ™ใ‚ใ—ใพใ™๏ผ็พๅœจใ‚ชใƒณใƒฉใ‚คใƒณๆ›ธๅบ—ใงไบˆ็ด„่ฒฉๅฃฒไธญใงใ™ใ€‚๐Ÿ™‚


-- ่ฟฝไผธ๏ผšไปŠ้€ฑ๏ผˆ2025.10.17~2025.10.26๏ผ‰ใฎ้–“ใซ<ใ‚ผใƒญใ‹ใ‚‰ไฝœใฃใฆๅญฆใถLLM>GitHub + ใƒœใƒผใƒŠใ‚นใ‚ณใƒณใƒ†ใƒณใƒ„่งฃ่ชฌ่ฌ›็พฉใ‚’ๅ—่ฌ›ใ—ใฆใ„ใŸใ ใใจใ€4ๅใฎๆ–นใ‚’ๆŠฝ้ธใง้ธใณ<ใƒใƒณใ‚บใ‚ชใƒณLLM>ใจ<้–‹็™บ่€…ใฎใŸใ‚ใฎๅฟ…้ ˆๆ•ฐๅญฆ>ใ‚’ใƒ—ใƒฌใ‚ผใƒณใƒˆใ„ใŸใ—ใพใ™ใ€‚ๅคšใใฎ้–ขๅฟƒใ‚’ใŠๅฏ„ใ›ใใ ใ•ใ„ใ€‚ใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ™๏ผ

ใ‚ณใƒกใƒณใƒˆ
ใพใ ใ‚ณใƒกใƒณใƒˆใŒใ‚ใ‚Šใพใ›ใ‚“

๏ฟฅ2,828