3D ํด๋จผ ํฌ์ฆ ์์คํฐ๋ฉ์ด์
์ ๋ชจ๋ ๊ฒ ๐ฉ
์ด๋ก ์ผ๋ก ํ ๋ฒ, ์ค์ต์ผ๋ก ํ์คํ๊ฒ
3D Human Pose Estimation!
ํน์ ๋ด ์๊ธฐ๋ผ๋ฉด ์ฃผ๋ชฉํด์ฃผ์ธ์
โ
ํญ์ ๋๊ฐ์ ์ด๋ฏธ์ง ๋ถ๋ฅ/๊ฐ์ฒด ํ์ง ๋ชจ๋ธ ๋์ ์๋ก์ด ๋ถ์ผ๋ฅผ ๋ฐฐ์ฐ๊ณ ์ถ์ ๋ถ
โ
์กธ์
ํ๋ก์ ํธ๊ฐ ์ฝ์์ธ๋ฐ ์์ง ์ฃผ์ ๋ฅผ ์ ํ์ง ๋ชปํ ๋ํ์
โ
์ฐธ์ ํ ์ฃผ์ ๋ฐ ๋ถ์ผ๋ก AI ๊ณต๋ชจ์ ์ ์ฐธ๊ฐํ๊ณ ์ถ์ ํ์
โ
AI ๊ด๋ จ ๋ํ์์์ ๋ฌด์์ ์ฐ๊ตฌํ๋์ง ๊ถ๊ธํ์ ๋ถ
โ
3D ์ธ๊ฐ ํฌ์ฆ ์์ฑ ๊ธฐ์ ์ ๊ด์ฌ์๋ ๋ถ
โ
์๋ก์ด ์ธ๊ณต์ง๋ฅ ๋ถ์ผ์ ๊ธฐ์ ์ ๋ฐฐ์ฐ๊ณ ์ถ์ ๋ถ
3D Human Pose Estimation์ ์ธ๊ณต์ง๋ฅ ์ปดํจํฐ ๋น์ ๋ถ์ผ ์ค ํ๋๋ก, VR/AR ๋ฐ ๋ก๋ณดํฑ์ค, ์์ ๋ถ์, ์๋ฐํ ์์ฑ, ์ํ ์ฌ์
๋ฑ ๊ด๋ฒ์ํ ๋ถ์ผ์์ ์ฌ์ฉ๋๊ณ ์๋ ๊ฐ๋ ฅํ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์
๋๋ค.
AI ํฌ์ค์ผ์ด ์๋น์ค
์คํฌ์ธ ์ ์ ํ๋ ์ด ๋ถ์์ ์ํ ํฌ์ฆ ์ถ์
AR/VR ๊ฒ์ ์๋น์ค๋ฅผ ์ํ ํฌ์ฆ ์ถ์
์ค์ ์์ ์์ค ๊ธฐ๋ฐ์ ํฌ์ฆ ์ถ์
์ด๋ฏธ์ง ์์ฑ์ ์ํ ํฌ์ฆ ์ถ์
์ค์ ๋ก ์ปดํจํฐ ๋น์ ๋ถ์ผ์์ 3D ๊ด๋ จ ๋
ผ๋ฌธ ํฌ๊ณ ์๋ ๋งค๋
์ฆ๊ฐํ๊ณ ์์ผ๋ฉฐ ์ ์ธ๊ณ์ ์ผ๋ก ๋ง์ ์ฐ๊ตฌ๊ฐ ์งํ๋๊ณ ์์ต๋๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ๋ง์ ๊ด๋ จ ๊ธฐ์ ์ ํ์ตํ๊ธฐ ์ํ ์๋ฃ๋ ์ฐพ์๋ณด๊ธฐ ์ฝ์ง ์๊ธฐ ๋๋ฌธ์ ๋ง์ ๋ถ๋ค์ด 3D Human Pose Estimation ํ์ต์ ์ฃผ์ ํ๊ธฐ ๋ง๋ จ์
๋๋ค.
์ด์ ๋ณธ ๊ฐ์๋ 3D Human Pose Estimation ์ด๋ก ์ ๋ํด ์์๋ณด๊ณ , ์ค์ ์ฝ๋๋ฅผ ํตํด ์ด๋ฏธ์ง์์ 3D Human Pose๋ฅผ ์์ฑํ๋ ์ค์ต์ ์งํํด ๋ด
๋๋ค.
๊ณจํ ์ค์ ์์์ผ๋ก ๊ตฌ์ถํ๋
์ค์ ๋ชจ๋ธ ๊ตฌ์ถ ๐๏ธโโ๏ธ
๋ณธ ๊ฐ์๋ ์ ๊ฐ ์ง๋ 2๋
๋์ ์ธ๊ณต์ง๋ฅ ๋ํ์์์ ์ฐ๊ตฌํ ์ฃผ์ ๋ก์จ ๊ทธ๋์์ ์ง์์ ์์ถํ ๊ฐ์์
๋๋ค.
์ ํ๋ธ์์ ์ป์ ๊ณจํ ์ค์ ์์๋ค๋ก ํ๋ จ ๋ฐ์ดํฐ์
์ ๊ตฌ์ถํ๊ณ ์ด๋ค ์ ๋ต ๋ฐ์ดํฐ ์์ด 3D Human Pose Estimator๋ฅผ ํ๋ จ์ํด์ผ๋ก์จ ํน์ ๋๋ฉ์ธ (๊ณจํ ์ค์)์ ํนํ๋ ๋ชจ๋ธ์ ๊ตฌ์ถํ๋ ๊ฒ์ด ์ด ๊ฐ์์ ๋ชฉํ์
๋๋ค.
์ง์
์ฅ๋ฒฝ์ ๋ฎ์ท์ต๋๋ค
์๊ฐ์ ์ฌ๋ฌ๋ถ์ ๊ธฐ์กด์ ์ ๊ทผํ๊ธฐ ์ฝ์ง ์๊ณ ์๋ฃ๋ฅผ ์ฐพ๊ธฐ๋ ์ด๋ ค์ ๋ 3D Human Pose Estimation ๋ถ์ผ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๊น์ด์๋ ๊ฐ๋
์ค๋ช
์ ํตํด ๋ง๋ณผ ์ ์์ต๋๋ค.
๋ฐ๋ผํ๋ฉฐ ์ฒดํํ๋ฉฐ ์ตํ๋ณด์ธ์
๋ฐ๋ฐ๋ฅ๋ถํฐ ์์ํ๋ ์ด๋ก ์์
๋์ ๋ฐ๋ผํ๋ฉฐ ์ตํ๋ ์์
์ ์งํฅํฉ๋๋ค. ํจ๊ป ๋ชจ๋ธ ํ๋ จ/ํ๊ฐ ์ฝ๋๋ฅผ ์คํํด๋ณด๊ณ ์ค๋นํ ์ด๋ฏธ์ง์ ๋ํด 3D ํด๋จผ ํฌ์ฆ๋ฅผ ์์ฑํ๋ ๊ณผ์ ์ ์ง์ ์ฒดํํ๊ฒ ๋ฉ๋๋ค.
์ฐ๋ฆฌ์ ์ต์ข
๋ชฉํ๋ โ๋๋ง์ ๋ฐ์ดํฐ์
์ ๊ตฌ์ถํ๋ ๊ฒโ์
๋๋ค!
๐ก ๊ฐ์๋ฅผ ๋ฃ๊ณ ๋๋ฉด ์ฌ๋ฌ๋ถ์ ๋ฐ์ดํฐ์
์ ๊ตฌ์ถํ์ฌ ๋คํธ์ํฌ๋ฅผ ํ๋ จ์ํฌ ์ ์๊ฒ ๋ฉ๋๋ค. ๋ฐ๋ผ์ ์์๋ก ํจ๊ปํ ๊ณจํ ์ค์๋ฟ๋ง ์๋๋ผ ์๊ฐ, ์ค์ฟผํธ, ๋ณผ๋ง ๋ฑ ์ธ๊ฐ์ ํน์ ํ ํ๋์ ๋ํ 3D Human Pose๋ฅผ ์ ๊ณตํ๋ ์๋น์ค๋ฅผ ๊ธฐํํ ๋ฐํ์ ๋ค์ง ์ ์์ ๊ฒ๋๋ค!
์ด ๊ฐ์๋ฅผ ๋ง๋ ์ง์๊ณต์ ์
โ๋ฐ๋ผ์์ดโ ๊นํ์ฐ๋ฅผ ์๊ฐํฉ๋๋ค.
์ด ๊ฐ์๋ฅผ ๋ง๋ ๋ฐ๋ผ์์ด๐ฅฝ ๋
์ปดํจํฐํ, ์ธ๊ณต์ง๋ฅ ์ ๊ณต ์ง์, ๋ค์์ ๋ฅ๋ฌ๋/๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ ๊ฒฝํ๊ณผ ๊ณต๋ชจ์ ์์, ๋ํ์ ์ฐ๊ตฌ ๊ฒฝ๋ ฅ์ ๋ฐํ์ผ๋ก ์ฌ๋ฌ๋ถ๊ป ์ฐ๊ตฌ ๋ฐ ํ๋ก์ ํธ ๊ฒฝํ์ ์ ๊ณตํด๋๋ฆฝ๋๋ค.
- ๊ณ ๋ ค๋ํ๊ต ์ธ๊ณต์ง๋ฅํ๊ณผ ์์ฌ ์กธ์
- SCI(E) ๋
ผ๋ฌธ, ๊ตญ์ ํํ ๋ฐํ
์๋
ํ์ธ์, ๋ฐ๋ผ์์ด ๊นํ์ฐ์
๋๋ค.
2๋
์ ์ธํ๋ฐ์ โํ๋ฃจ๋ง์ ๋ง๋๋ ๊นํ๋ธ ๋ธ๋ก๊ทธโ ๊ฐ์๋ฅผ ๋ฐ์นญํ๊ณ , ๋ง์ ๋ถ๋ค์ด ์ ๊ฐ์๋ฅผ ์ฌ๋ํด์ฃผ์
จ์ต๋๋ค.
๋น์ ๊ฐ์ ์ ์์ด ์ฒ์์ด๋ค๋ณด๋ ๊ฐ๋ฒผ์ด ๋ง์์ผ๋ก ๊ฐ์๋ฅผ ์์ํ์์ง๋ง ์ฌ๋ฌ๋ชจ๋ก ๋ถ์กฑํ ์ ์ด ๋ง์์ต๋๋ค. ์ฑ
์๊ฐ์ด ๋ฌด๊ฒ๋ค๋ ๊ฑธ ๋ฏธ์ฒ ์ธ์งํ์ง ๋ชปํ๋ค๋ ์๊ฐ์ ํ์ฌ๋ ๊ฐ์๋ฅผ ์ค๋จํ์์ต๋๋ค.
์ง๊ธ ์ฌ๋ฌ๋ถ๊ป ๊ณต๊ฐํ๋ ์ด ๊ฐ์๋ ์ด๋ฐ ์ ๊ฒฝํ์ ๋ฐํ์ผ๋ก ๋ถ์กฑํ ๋ถ๋ถ์ ์ต๋ํ ์ค์ด๊ณ ๊ฐ์ ํ ๊ฐ์์
๋๋ค.
๊ณ ๋ ค๋ํ๊ต ์ธ๊ณต์ง๋ฅํ๊ณผ ์์ฌ๊ณผ์ ์ 2๋
๋ง์ ๋ง์น๊ณ ์กธ์
ํ๋ ๊ณผ์ ์์, ์ธ๊ณต์ง๋ฅ ๋ฐ ์ปดํจํฐ ๋น์ ๋ถ์ผ ์ธ๊ณ 19์ ํํ์ธ ACCV2022(Asian Conference on Computer Vision)์ 3D Human Pose Estimation ๋ถ์ผ ๋
ผ๋ฌธ์ ๊ฒ์ฌํ๋ฉฐ ๊ตฌ๋ ๋ฐํ ๋
ผ๋ฌธ์๋ ์ ์ ๋์๋ ๊ฒฝํ์ด ์์ต๋๋ค.
์ธ๊ณต์ง๋ฅ ํน์ ๋ถ์ผ์ ๋ํ ์ ๊ทผ์ฑ์ด ์ข์ง ์์ ๋ง์ ๋ถ๋ค์ด ํ์ต์ ์์ํ๋ ๋ฐ ํผ๋ก๋ฅผ ๋๋ผ๊ฑฐ๋ ํฌ๊ธฐํ๋ ๋ชจ์ต์ ๋ณด๊ณ ์ด๋ฒ ๊ฐ์๋ฅผ ๋ง๋ค์ด๋ณด์์ต๋๋ค. ์ง๋ 2๋
๋์์ ๋ฐฐ์๊ณผ ์ํ์ฐฉ์ค๋ฅผ ๊ฐ์์ ๋ด์์ต๋๋ค.
์ด ๊ฐ์๋ฅผ ํตํด ๋ ๋ง์ ๋ถ๋ค์ด 3D Human Pose Estimation ๋ถ์ผ์ ํฅ๋ฏธ๋ฅผ ๊ฐ๊ณ ์๋ก์ด ์ฑ์ทจ๊ฐ์ ๊ฐ์ ธ๊ฐ์
จ์ผ๋ฉด ์ข๊ฒ ์ต๋๋ค :)
Q&A ๐ฌ
Q. ์ธ๊ณต์ง๋ฅ์ ๋ํด ์ ํ ๋ชจ๋ฆ
๋๋ค. ์ ๊ฐ ์ด ์์
์ ๋ฃ๊ณ ์ป์ ์ ์๋ ๊ฒ ์์๊น์?
๊ทธ๋ผ์! ์ด ๊ฐ์๋ฅผ ํตํด ์ธ๊ณต์ง๋ฅ์ ๋ ํฅ๋ฏธ๋ฅผ ๋๋ ์ ์์ผ์ค ๊ฑฐ์์. ๋ํ ๊ตฌ์ถํ ๋ชจ๋ธ๋ก ์ธ์ ๋ ์ง ๋๋ง์ ๋ฐ์ดํฐ, ๋๋ง์ ๋ชจ๋ธ์ ๋ง๋ค ์ ์๋ ๋ฅ๋ ฅ๋ ๊ฐ์ถ ์ ์๊ฒ ๋ ๊ฑฐ์์.
(์ ์ ์ง์์ผ๋ก ํ์ด์ฌPython์ ์ฌ์ฉํ์ค ์ ์๋ค๋ฉด ๋๊ตฌ๋ ๋ค์ ์ ์๋ ๊ฐ์์
๋๋ค!)
Q. ๊ฐ์๋ฅผ ๋ฃ๊ธฐ ์ ์ค๋นํด์ผ ํ ๊ฒ์ด ์๋์?
GPU(๊ทธ๋ํฝ์นด๋), ์ฐ๋ถํฌ(Ubuntu) OS๊ฐ ์ค๋น๋์ด์ผํฉ๋๋ค.
์ ๋ฌธ์ ๋ก ํ๋ถ์ด ๋ถ๊ฐ๋ฅํจ์ ๋ฏธ๋ฆฌ ์๋ ค๋๋ฆฝ๋๋ค.
Q. ์์
๋ด์ฉ์ ์ด๋ ์์ค๊น์ง ๋ค๋ฃจ๋์?
์ค์ ๋ชจ๋ธ์ ํ๋ จ๊ณผ ํ๊ฐ ์ฝ๋๋ฅผ ์คํํ๊ธฐ ์ ์ ํจ๊ป ๋
ผ๋ฌธ์ ์ดํด๋ณด์ง๋ง ๊น์ ์ด๋ก ์ ์ง์ ์๋ ค๋๋ฆฌ๊ธฐ๋ณด๋ค๋ ์์์ผ ํ ์ฌ์ ์ง์์ ๊ฐ์ด๋ํด ๋๋ฆฝ๋๋ค. ์ ๊ฐ ์ด ๋ถ์ผ ์ฐ๊ตฌ๋ฅผ ํ๋ฉด์ ๊ด๋ จ ์ฌ์ ์ง์์ ์ ํ ์์ง ๋ชปํด์ ์ค๋ซ๋์ ๊ณ ์ํ์๋๋ฐ์. ๋ฌด์์ ์์์ผ ํ๋์ง, ์ด ๋
ผ๋ฌธ์ ๋ฌธ์ฅ์์ ๋ฌด์จ ๋ง์ ํ๋์ง๋ฅผ ์ฝ๊ฒ ์ค๋ช
๋๋ฆฌ๋ฉด์ ์งํํฉ๋๋ค.
๐พ ์๊ฐ ์ ํ์ธํด์ฃผ์ธ์
- ์ค์ต์ ์ํด Ubuntu OS ๋ฐ ํ๋ก๊ทธ๋จ ํธ์ง๊ธฐ, ๊ทธ๋ํฝ์นด๋(GPU)๊ฐ ํ์ํฉ๋๋ค. ๊ฐ์์์๋ ํ๋ก๊ทธ๋จ ํธ์ง๊ธฐ๋ก Visual Studio Code๋ฅผ ์ฌ์ฉํฉ๋๋ค.
- ์๊ฐ์์๊ฒ๋ ์์ค ์ฝ๋๋ฅผ ์ ๊ณตํฉ๋๋ค. ๋ํ ํ์ํ ์ถ๊ฐ ์๋ฃ๋ ๋งํฌ ๋ฑ์ ํตํด ์์ฝ๊ฒ ์ ๊ณตํด ๋๋ฆฝ๋๋ค.
- ํ์ด์ฌ ์ ์ ์ง์์ด ํ์ํฉ๋๋ค. ํ์ด์ฌ์ ์ ํ ์ฌ์ฉํ ๊ฒฝํ์ด ์์ผ์ ๋ถ๋ค์ ํ์ด์ฌ์ ํ์ตํ ๋ค์ ๋ณธ ๊ฐ์๋ฅผ ์๊ฐํ์๋ ๊ฒ์ ์ถ์ฒํฉ๋๋ค.
- ๊ธฐ์ด ์ธ๊ณต์ง๋ฅ ๊ฐ์ ๋๋ ๋ฅ๋ฌ๋ ๊ฐ์๋ฅผ ๋ค์ผ์ ๋ถ๋ค๊ป ์ถ์ฒํ๋ ๊ณผ์ ์
๋๋ค.
- ๊ฐ์ ๋ฐ ํ์ต ์๋ฃ๋ฅผ ๋ฌด๋จ ๋ฐฐํฌํ์ง ๋ง์์ฃผ์ธ์. ์ ์ ๋
ธ๋ ฅ๊ณผ ์๊ฐ, ๊ทธ๋ฆฌ๊ณ ์ด์ ์ด ๋ค์ด๊ฐ ํ์ต ์๋ฃ์
๋๋ค.