์ ๊ฒฝ์์ ๋ฅ๋ฌ๋ - Gradients and PyTorch's Autograd
๋ฅ๋ฌ๋์ ์์ํ๊ธฐ ์ํด ํ์ํ ๊ธฐ๋ณธ์ ์ธ ๋ฏธ๋ถ๋ฒ๊ณผ PyTorch์ Autograd ๊ธฐ๋ฅ์ ๋ฐฐ์ฐ๋ ๊ฐ์์ ๋๋ค.
์๊ฐ์ 76๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ
์๋ ํ์ธ์ ๊ณต๋ํ์์ ๋๋ค๐
์ค๋๋ถํฐ ๋ฅ๋ฌ๋ ๊ธฐ๋ฐ ์ปดํจํฐ ๋น์ ๊ฐ์๋ฅผ ์๋๊ฐ ์๊ฒ ์ ๋ก๋ํ์ฌ๊ณ ํฉ๋๋ค!
๊ฐ์ฅ ์ฒ์์ผ๋ก ์ปดํจํฐ ๋น์ ์ ๋ฐฐ์ฐ๊ธฐ ์ ์, ๋ฐ๋์ ๋ค์ ธ์ผ ํ๋ ์ด๋ฏธ์ง์ ๊ธฐ์ด๋ฅผ ๋ค๋ฃจ๋ [์ปดํจํฐ ๋น์ ์ ์ํ ์ด๋ฏธ์ง ๊ธฐ์ด] ๊ฐ์๊ฐ ์คํ๋์์ต๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ปดํจํฐ ๋น์ ์ ๊ฐ๋จํ ์๊ฐ๋ฅผ ์งํํ๋ ๋ฌด๋ฃ ๊ฐ์ [์ปดํจํฐ ๋น์ ์๊ฐ]๋ ํจ๊ป ์คํ๋์์ต๋๋ค.
์ปดํจํฐ ๋น์ ์ ์ํ ์ด๋ฏธ์ง ๊ธฐ์ด: https://inf.run/8x7Xn
์ปดํจํฐ ๋น์ ์๊ฐ: https://inf.run/EzBfS
์ด๋ฒ 5์ ๋์ 10๊ฐ ์ด์์ ์ปดํจํฐ ๋น์ ๊ฐ์๊ฐ ์ ๋ก๋ ๋ ์์ ์ด๋, ๋ง์ ๊ด์ฌ ๋ถํ๋๋ฆฝ๋๋ค๐
PS) ํ์ฌ ์ปดํจํฐ ๋น์ ๊ฐ์๋ฅผ ๋น์ฅ ๋ง๋ค์ด์ผ ํ๋ ์ํฉ์ด์ด์, ๋ฅ๋ฌ๋ ๊ธฐ์ด ๊ฐ์๋ ์ปดํจํฐ ๋น์ ๊ฐ์์ ํจ๊ป 6์ ์ค์๋ถํฐ ๋ณ๋ ฌ์ ์ผ๋ก ์ ์ํ๊ฒ ์ต๋๋ค.
์๋ ํ์ธ์ ์๊ฐ์ ์ฌ๋ฌ๋ถ๐
๊ธฐ์ด๋ถํฐ ์ ๋ฌธ์ ์ธ ์์ค๊น์ง ์ฒด๊ณ์ ์ผ๋ก ๋ฅ๋ฌ๋์ ๋ค๋ฃจ๋ [์ ๊ฒฝ์์ ๋ฅ๋ฌ๋] ๋ค ๋ฒ์งธ ๊ฐ์์ธ [Gradient-based Linear Regression (2)]์ด ์คํ๋์ด ์๋ ค๋๋ฆฝ๋๋ค!
(๊ฐ์ ๋งํฌ: https://inf.run/ymv1P)
๋ณธ Gradient-based Linear Regression (1)์์ ์ง์ ๊ตฌํํ ์ฝ๋๋ฅผ PyTorch์ ๊ธฐ๋ฅ๋ค์ ์ด์ฉํ์ฌ ์ค์ ์ฝ๋๋ก ๊ตฌํํ๋ ๋ฐฉ๋ฒ์ ๋ฐฐ์ฐ๋ ๊ฐ์์ ๋๋ค. ๋ํ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ์ ๋ํ ํ์์ฑ, ์ด๋ก , ํ์ต์ ๋ฏธ์น๋ ์ํฅ์ ์ด๋ก ์ ์ผ๋ก ๋ฐฐ์ฐ๊ณ , ์ค์ ์ฝ๋๋ก ๊ตฌํํ๋ ๊ฐ์์ ๋๋ค.
์ All About AI ์ปค๋ฆฌํ๋ผ์ ๋ฐ๋ผ ์ค์๋ ๋ถ๋ค์ ์คํ ํ ์ธ ๊ธฐ๊ฐ ์ด์ฉํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค๐
์ถ๊ฐ๋ก ๋ค์ ์ฃผ ์ค์ ํ์ ๊ฐ์์ธ [Gradient-based Linear Regression (3)]์ด ์คํ๋ ์์ ์ ๋๋ค.
ํจ๊ป ์ด์ฌํ ๋ฅ๋ฌ๋ ์ธ์์ ๋ง๋ค์ด๊ฐ ์ ์๋๋ก ํญ์ ์ต์ ์ ๋คํ๊ฒ ์ต๋๋ค!
๊ฐ์ฌํฉ๋๋ค.
์ ๊ฒฝ์ ๋๋ฆผ
์๋ ํ์ธ์ ์๊ฐ์ ์ฌ๋ฌ๋ถ๐
๊ธฐ์ด๋ถํฐ ์ ๋ฌธ์ ์ธ ์์ค๊น์ง ์ฒด๊ณ์ ์ผ๋ก ๋ฅ๋ฌ๋์ ๋ค๋ฃจ๋ [์ ๊ฒฝ์์ ๋ฅ๋ฌ๋] ์ธ ๋ฒ์งธ ๊ฐ์์ธ [Gradient-based Linear Regression (1)]์ด ์คํ๋์ด ์๋ ค๋๋ฆฝ๋๋ค!
(๊ฐ์ ๋งํฌ: https://inf.run/KgQoQ)
๋ณธ ๊ฐ์๋ ์ด์ ์คํ๋ [Gradient Descent]๋ฅผ ๊ธฐ๋ฐ์ผ๋ก, ๊ฐ์ฅ ๊ฐ๋จํ ๋ชจ๋ธ์ ๋ฐ์ดํฐ์ ํ์ต์ํค๋ ๊ณผ์ ์ ๋ค๋ฃน๋๋ค.
ํ์ฌ ์คํ ๊ธฐ๋ ํ ์ธ ์ค์ด๋, ์ ์ปค๋ฆฌํ๋ผ์ ๋ฐ๋ผ์ค์๋ ๋ถ๋ค์ ์ด ๊ธฐ๊ฐ ์ด์ฉํ์ฌ ์๊ฐ ์ ์ฒญํ์๊ธฐ ๋ฐ๋๋๋ค๐
์ถ๊ฐ๋ก ์ด๋ฒ ์ฃผ ์ค์ ํ์ ๊ฐ์์ธ [Gradient-based Linear Regression (2)]์ด ์คํ๋ ์์ ์ ๋๋ค.
ํจ๊ป ์ด์ฌํ ๋ฅ๋ฌ๋ ์ธ์์ ๋ง๋ค์ด๊ฐ ์ ์๋๋ก ํญ์ ์ต์ ์ ๋คํ๊ฒ ์ต๋๋ค!
๊ฐ์ฌํฉ๋๋ค.
์ ๊ฒฝ์ ๋๋ฆผ
์๋ ํ์ธ์ ์๊ฐ์ ์ฌ๋ฌ๋ถ๐
๊ธฐ์ด๋ถํฐ ์ ๋ฌธ์ ์ธ ์์ค๊น์ง ์ฒด๊ณ์ ์ผ๋ก ๋ฅ๋ฌ๋์ ๋ค๋ฃจ๋ [์ ๊ฒฝ์์ ๋ฅ๋ฌ๋] ๋ ๋ฒ์งธ ๊ฐ์์ธ [Gradient Descent]๊ฐ ์คํ๋์ด ์๋ ค๋๋ฆฝ๋๋ค!
(๊ฐ์ ๋งํฌ: https://inf.run/bK5xe)
๋ณธ ๊ฐ์๋ ์ด์ ์คํ๋ [Gradients and PyTorch's Autograd]๋ฅผ ๊ธฐ๋ฐ์ผ๋ก, ๋ฅ๋ฌ๋์ ๊ฐ์ฅ ํต์ฌ์ ์ธ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ธ
gradient descent๋ฅผ ์ง์ค์ ์ผ๋ก ๋ค๋ฃน๋๋ค.
ํ์ฌ ์คํ ๊ธฐ๋ ํ ์ธ ์ค์ด๋, ์ ์ปค๋ฆฌํ๋ผ์ ๋ฐ๋ผ์ค์๋ ๋ถ๋ค์ ์ด ๊ธฐ๊ฐ ์ด์ฉํ์ฌ ์๊ฐ ์ ์ฒญํ์๊ธฐ ๋ฐ๋๋๋ค๐
์ถ๊ฐ๋ก ์ด๋ฒ ์ฃผ๋ง์ ์ด ๋ค์ ๊ฐ์์ธ [Gradient-based Linear Regression (1)]์ด ์คํ๋ ์์ ์ ๋๋ค.
ํจ๊ป ์ด์ฌํ ๋ฅ๋ฌ๋ ์ธ์์ ๋ง๋ค์ด๊ฐ ์ ์๋๋ก ํญ์ ์ต์ ์ ๋คํ๊ฒ ์ต๋๋ค!
๊ฐ์ฌํฉ๋๋ค.
์ ๊ฒฝ์ ๋๋ฆผ
์๋ ํ์ธ์ ์๊ฐ์ ์ฌ๋ฌ๋ถ!
์ค๋๋ถํฐ ๋ณธ๊ฒฉ์ ์ธ ๋ฅ๋ฌ๋ ๊ฐ์ ์ปค๋ฆฌํ๋ผ์ด ์์๋์ด ์๋ด๋๋ฆฝ๋๋ค๐
์ ๊ฐ ์ง์ ๋ง๋๋ [์ ๊ฒฝ์์ ๋ฅ๋ฌ๋(ShinDL)] ์ปค๋ฆฌํ๋ผ์ ๋ฅ๋ฌ๋์ ๊ธฐ์ด๋ถํฐ ์ค์ ๋ ผ๋ฌธ ์์ค์ ๊ฐ์๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ๋ค๋ฃจ๋ฉฐ,
๋ฅ๋ฌ๋ ๊ธฐ์ ์ ์ง์ ๋ชจ๋ ๊ตฌํํด๋ณด๋ฉฐ ์๋ฒฝํ ํด๋น ๊ธฐ์ ์ ์ดํดํ๋ ๋ชฉํ๋ฅผ ๊ฐ์ง ์ปค๋ฆฌํ๋ผ์ ๋๋ค!
๋ํ ๋ฅ๋ฌ๋์ ๋ถ์ผ๊ฐ ์๋ ๋๊ธฐ ๋๋ฌธ์, ํฐ ๋ณผ๋ฅจ์ ๊ฐ์๋ณด๋จ ๋ชจ๋ํํ์ฌ ํน์ ํ ํฝ์ ๋ค๋ฃจ๋ ๊ฐ์๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
์ด๋ฒ ์คํํ ๊ฐ์๋ [์ ๊ฒฝ์์ ๋ฅ๋ฌ๋] ์ปค๋ฆฌํ๋ผ์ ์ฒซ ๋ฒ์งธ ๊ฐ์๋ก์, ๋ฅ๋ฌ๋์ ์ ๋๋ก ์ดํดํ๊ธฐ ์ํด
๋ฐ๋์ ํ์ํ ์ํ์ ๊ธฐ๋ฐ์ธ '๋ฏธ๋ถ'๊ณผ PyTorch ํ๋ ์์ํฌ์ autograd ๊ธฐ์ ์ ๋ฐฐ์ฐ๋ ๊ฐ์์ธ
[Gradients and PyTorch's Autograd]์ ๋๋ค.
(๊ฐ์ ๋งํฌ: https://inf.run/wZoxE)
์์ผ๋ก ๊ธฐ๋ณธ์ ์ธ ๋ฅ๋ฌ๋ ๊ธฐ์ ๋ฟ๋ง ์๋๋ผ, ๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ ๊ธฐ๋ฐ์ผ๋ก ์ค์ ํ๋ก์ ํธ๊น์ง ์งํํ ์์ ์ด๋,
๋ฅ๋ฌ๋ ํ์ต์ ์ค๋นํ๊ณ ๊ณ์ ๋ถ๋ค์ด๋ผ๋ฉด, ์ด๋ฒ ๊ฐ์๋ถํฐ ์ฐจ๊ทผ์ฐจ๊ทผ ์ปค๋ฆฌํ๋ผ์ ๋ฐ๋ผ์ค์๊ธฐ ๋ฐ๋๋๋ค๐
์ถ๊ฐ์ ์ผ๋ก ๋ค์ ์ฃผ์ ๋ ๋ฒ์งธ ๋ฅ๋ฌ๋ ๊ฐ์์ธ [Gradient Descent] ๊ฐ์๊ฐ ์คํ ์์ ์ด๋ ์ฐธ๊ณ ํด์ฃผ์ธ์!
์์ผ๋ก ๋ ์ข์ ๊ฐ์ ์ ๊ณตํ ์ ์๋๋ก ์ต์ ์ ๋คํ๊ฒ ์ต๋๋ค!
๊ฐ์ฌํฉ๋๋ค.
์ ๊ฒฝ์ ๋๋ฆผ






