inflearn logo
inflearn logo
Challenge
์ข…๋ฃŒ

<ใ‚ผใƒญใ‹ใ‚‰ไฝœใ‚ŠใชใŒใ‚‰ๅญฆใถLLM> ๅฎŒ่ชญใƒใƒฃใƒฌใƒณใ‚ธ

ใ“ใฎ์ฑŒ๋ฆฐ์ง€ใฏใ€Ž๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ๋งŒ๋“ค๋ฉด์„œ ๋ฐฐ์šฐ๋Š” LLMใ€๏ผˆ๊ธธ๋ฒ—ใ€2025๏ผ‰ๅ›ณๆ›ธใ‚’7้€ฑ้–“ใ€่จณ่€…ใจไธ€็ท’ใซๅฎŒ่ชญใ™ใ‚‹ใƒใƒฃใƒฌใƒณใ‚ธใงใ™ใ€‚ ใƒใƒฃใƒฌใƒณใ‚ธใจๅ›ณๆ›ธใซ้–ขใ™ใ‚‹็–‘ๅ•ใฏใ€InflearnใพใŸใฏ่จณ่€…ใƒ–ใƒญใ‚ฐ๏ผˆhttps://tensorflow.blog/llm-from-scratch/๏ผ‰ใ€ใ‚ซใ‚ซใ‚ชใƒˆใƒผใ‚ฏใ‚ชใƒผใƒ—ใƒณใƒใƒฃใƒƒใƒˆใƒซใƒผใƒ ๏ผˆhttp://bit.ly/tensor-chatใ€ๅ‚ๅŠ ใ‚ณใƒผใƒ‰๏ผšflow๏ผ‰ใงใ„ใคใงใ‚‚ใŠๅ•ใ„ๅˆใ‚ใ›ใใ ใ•ใ„ใ€‚

PyTorch
gpt-2
self-attention
LLM
book-challenge
haesunpark๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

ๅบ•่พบLLMๆœฌใ‚’ๅ—ใ‘ๅ–ใ‚Šใพใ—ใŸ๏ผ

ใ“ใ‚“ใซใกใฏใ€‚ใƒ‘ใ‚ฏใƒปใƒ˜ใ‚ฝใƒณใงใ™ใ€‚

ๅบ•่พบLLMๅฎŒ่ชญใƒใƒฃใƒฌใƒณใ‚ธใซใ”ๅ‚ๅŠ ใ„ใŸใ ใใ€ใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ™๏ผ็š†ใ•ใ‚“ๆœฌใฏๅ—ใ‘ๅ–ใ‚‰ใ‚Œใพใ—ใŸใ‹๏ผŸ็งใฏๆ˜จๆ—ฅใ‚„ใฃใจๆœฌใ‚’ๅ—ใ‘ๅ–ใ‚Šใพใ—ใŸใ€‚ไบˆๆƒณไปฅไธŠใซ็ด™ใจๅฐๅˆทๅ“่ณชใŒใจใฆใ‚‚่‰ฏใใฆ้ฉšใใพใ—ใŸใ€‚๐Ÿ˜Š

IMG_1032.jpeg

ๆœฌๆ ผ็š„ใซใƒใƒฃใƒฌใƒณใ‚ธใŒๅง‹ใพใ‚‹ใพใงใฏๅฐ‘ใ—ๆ™‚้–“ใŒๆฎ‹ใฃใฆใ„ใพใ™ใŒใ€ไปŠๆ—ฅใ‹ใ‚‰ๅ‹•็”ปใ‚’ๅˆถไฝœใ—ใฆYouTubeใจInflearnใซใ‚ขใƒƒใƒ—ใ—ใฆใ„ใพใ™ใ€‚ใ‚ซใƒชใ‚ญใƒฅใƒฉใƒ ใ‚ฟใƒ–ใงใƒ—ใƒฌใƒ“ใƒฅใƒผใจใ—ใฆ1.1็ฏ€ใ€1.2็ฏ€ใฎๅ‹•็”ปใ‚’ใ”่ฆงใ„ใŸใ ใ‘ใพใ™ใ€‚

image.png

ใƒใƒฃใƒฌใƒณใ‚ธ้–‹ๅง‹ๆ—ฅใฏ10ๆœˆ6ๆ—ฅใ ใจใ„ใ†ใ“ใจใ‚’่ฆšใˆใฆใ„ใพใ™ใ‚ˆใญ๏ผŸไปŠๅ›žใฎ็ง‹ๅค•้€ฃไผ‘ใซไบ‹ๅ‰ใซ้€ฒๅบฆใ‚’้€ฒใ‚ใŸใ„ๆ–นใฎใŸใ‚ใซใ€ใ›ใฃใ›ใจๅ‹•็”ปใ‚’ไฝœใฃใฆใ‚ขใƒƒใƒ—ใƒญใƒผใƒ‰ใ—ใพใ™ใ€‚ใƒใƒฃใƒฌใƒณใ‚ธ่ฌ›็พฉใงใฏๆฆ‚ๅฟตใจ้‡่ฆใชใ‚ณใƒผใƒ‰ใซใคใ„ใฆใฎ่ชฌๆ˜Žไธญๅฟƒใง้€ฒ่กŒใ•ใ‚Œใ‚‹ใฎใงใ€ๆฐ—่ปฝใซ่žใ„ใฆใ„ใŸใ ใ‘ใ‚‹ใจๆ€ใ„ใพใ™ใ€‚

ใƒใƒฃใƒฌใƒณใ‚ธ็ดนไป‹ใซ่จ˜่ผ‰ใ•ใ‚Œใฆใ„ใ‚‹ใ‚ˆใ†ใซใ€ใ‚ตใƒณใƒ—ใƒซใ‚ณใƒผใƒ‰ใ‚’่ฉณใ—ใ่ชฌๆ˜Žใ™ใ‚‹Inflearn่ฌ›ๅบง๏ผˆๆœ‰ๆ–™๏ผ‰ใ‚‚ไธ€็ท’ใซๅˆถไฝœใ•ใ‚Œใพใ™ใ€‚ใ“ใฎ่ฌ›ๅบงใงใฏใ€GitHubใซๅ…ฌ้–‹ใ•ใ‚ŒใŸๅ„็ซ ใฎใ‚ณใƒผใƒ‰ใ‚’่ฉณใ—ใ่ชฌๆ˜Žใ—ใพใ™ใ€‚ๅฎŒ่ชญใƒใƒฃใƒฌใƒณใ‚ธๅ‚ๅŠ ่€…ใซใฏใ€ใ“ใฎ่ฌ›ๅบงใฎ็„กๆ–™ใ‚ฏใƒผใƒใƒณใ‚’ใ™ในใฆๆไพ›ใ„ใŸใ—ใพใ™ใ€‚ใƒใƒฃใƒฌใƒณใ‚ธ่ฌ›ๅบงใจไธ€็ท’ใซๅ—่ฌ›ใ—ใฆใ„ใŸใ ใ‘ใ‚Œใฐใ€ใŠๅฝนใซ็ซ‹ใฆใ‚‹ใจๆ€ใ„ใพใ™ใ€‚ๅ‘จใ‚Šใซใ“ใฎๆœฌใซ่ˆˆๅ‘ณใ‚’ๆŒใฃใŸๆ–นใŒใ„ใ‚‰ใฃใ—ใ‚ƒใ„ใพใ—ใŸใ‚‰ใ€็„กๆ–™่ฌ›ๅบงใ‚ฏใƒผใƒใƒณใจใ‚ฎใƒซใƒใƒƒใƒˆใƒใ‚คใƒณใƒˆใพใงๅ—ใ‘ๅ–ใ‚Œใ‚‹ใ“ใฎๅฎŒ่ชญใƒใƒฃใƒฌใƒณใ‚ธใ‚’ใ”็ดนไป‹ใ„ใŸใ ใ‘ใ‚Œใฐใ€ๆœฌๅฝ“ใซใ‚ใ‚ŠใŒใŸใ„ใงใ™๏ผ๐Ÿ˜„

ใใ—ใฆใ€ใ‚‚ใ†ไธ€ใคใฎๆ–ฐใ—ใ„ใƒ‹ใƒฅใƒผใ‚นใŒใ‚ใ‚Šใพใ™ใ€‚ใ‚ปใƒใ‚นใƒใƒฃใƒณใƒปใƒฉใ‚ทใƒฅใ‚ซใŒใƒžใƒ‹ใƒณใ‚ฐๅ‡บ็‰ˆ็คพใงใ“ใฎๆœฌใฎ็ฌฌ2ๅผพใงใ‚ใ‚‹ใ‚’ไฝฟใฃใฆใ„ใ‚‹ใฎใงใ™ใŒ๏ผˆhttps://www.manning.com/books/build-a-reasoning-model-from-scratch๏ผ‰ใ€ใ“ใฎๆœฌใฎ็ฟป่จณใ‚‚็งใŒๆ‹…ๅฝ“ใ™ใ‚‹ใ“ใจใซใชใ‚Šใพใ—ใŸ๏ผ:)

image.png

ใ“ใฎๆœฌใฏๆฅๅนดใซใƒชใƒชใƒผใ‚นใ•ใ‚Œใ‚‹ใจใ„ใ†ใ“ใจใชใฎใงใ€ใ‚ผใƒญใ‹ใ‚‰ไฝœใ‚‹LLMใ‚’ๅ‹‰ๅผทใ—ใŸๅพŒใซ็ถšใ‘ใฆ่ชญใ‚€ใจ่‰ฏใ•ใใ†ใงใ™ใ€‚ใ“ใฎๆœฌใฎ็ฟป่จณใ‚’ๅง‹ใ‚ใ‚‹ใ“ใจใซใชใฃใŸใ‚‰ใ€ใ“ใ‚Œใซใคใ„ใฆใ‚‚ๆ™‚ใ€…ใŠ็Ÿฅใ‚‰ใ›ใ„ใŸใ—ใพใ™ใ€‚

ใใ‚Œใงใฏใ€ๅฟซ้ฉใชๅคœใจ่ฏ้‡‘ใฎๆœใ‚’ใŠ้Žใ”ใ—ใใ ใ•ใ„๏ผใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ™๏ผ

ใ‚ณใƒกใƒณใƒˆ 1
    juyeonkim๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

    ็งใ‚‚ๆœ€่ฟ‘ใซใชใฃใฆใ‚ˆใ†ใ‚„ใๆœฌใ‚’ๅ—ใ‘ๅ–ใฃใŸใฎใงใ™ใŒใ€ๆœฌใฎๅ†…ๅฎนใŒใจใฆใ‚‚่‰ฏใใฆ็ฟป่จณใ‚‚ใจใฆใ‚‚ไธŠๆ‰‹ใซใ•ใ‚Œใฆใ„ใฆใจใฆใ‚‚้ข็™ฝใ‹ใฃใŸใงใ™๐Ÿ˜Š๐Ÿ˜Š๐Ÿ˜Š ใƒใƒฃใƒฌใƒณใ‚ธใ‚‚ๆœ€ๅพŒใพใงๅฎŒ่ตฐใ—ใฆใฟใพใ™ใ€œ ใ“ใฎใ‚ˆใ†ใช็ด ๆ™ดใ‚‰ใ—ใ„ๆœฌใ‚’้Ÿ“ๅ›ฝ่ชžใซ็ฟป่จณใ—ใฆใใ ใ•ใฃใŸใƒ˜ใ‚ฝใƒณใ•ใ‚“ใ€ใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ™๏ผ

๏ฟฅ2,828