๊ฐ์ ์ฃผ์ ๐
์ด๋ฒ ์ ๋ํฐ ๋จธ์ ๋ฌ๋ ์์ด์ ํธ ์์ ์ ๋ณต (์์ฉํธ) ๊ฐ์๋ฅผ ํตํด์๋ ๋ค์๊ณผ ๊ฐ์ ๋ด์ฉ๋ค์ ํ์ตํ ์ ์์ต๋๋ค!
- ์ ๋ํฐ๋ฅผ ์ด์ฉํ ๊ฐํํ์ต ํ๊ฒฝ ์ ์ ๋ฐฉ๋ฒ
- ์์ฉ ๊ฐํํ์ต ๊ธฐ๋ฒ์ ์ํ ๋จธ์ ๋ฌ๋ ์์ด์ ํธ ์ ์ฉ ๋ฐฉ๋ฒ
- ์์ฉ ๊ฐํํ์ต ์๊ณ ๋ฆฌ์ฆ ์ด๋ก ๋ฐ ์ฝ๋ ์์ฑ ๋ฐฉ๋ฒ
- mlagents-learn์ ์ด์ฉํ ์์ฉ ๊ฐํํ์ต ์๊ณ ๋ฆฌ์ฆ ํ์ต ๋ฐฉ๋ฒ
๊ฐ์ ํน์ง โจ
๋ณธ ๊ฐ์์์๋ ๊ฐํํ์ต์ ์ด๋ก ์ ํ์ตํ๊ณ ์ฝ๋๋ฅผ ์์ฑํ๋ ๊ฒ ๋ฟ ์๋๋ผ ํด๋น ์๊ณ ๋ฆฌ์ฆ์ ํ์ตํ๊ธฐ ์ํ ๊ฐํํ์ต ํ๊ฒฝ์ ์ ์ํ๋ ๋ด์ฉ๊น์ง ๋ค๋ฃจ๋ ๊ฐ์๋ก์ ๊ฐํํ์ต์ ์ํ ๋ชจ๋ ๋ด์ฉ์ ๋ค๋ฃฌ๋ค๊ณ ํ ์ ์์ต๋๋ค.
๋ํ ๋ณธ ๊ฐ์์์๋ ์ผ๋ฐ์ ์ธ ๊ฐํํ์ต ์๊ณ ๋ฆฌ์ฆ ๋ฟ ์๋๋ผ ๋ฉํฐ์์ด์ ํธ, ์ปค๋ฆฌํ๋ผ ํ์ต, ๋ถ์ฐ ํ์ต, ์ด๋ ค์ด ํํ ํ๊ฒฝ ๋ฑ ์ฌ๋ฌ ์์ฉ ๊ฐํํ์ต์ ๋ด์ฉ๊น์ง ํญ๋๊ฒ ๋ค๋ฃจ๊ณ ์์ต๋๋ค.
ํ์ต ๋ด์ฉ ๐
์ ๋ํฐ ๋จธ์ ๋ฌ๋ ์์ด์ ํธ ์์ ์ ๋ณต (์์ฉํธ)์์๋ ์์ฉ ๊ฐํํ์ต ๊ธฐ๋ฒ๋ค์ ์ํ ํ๊ฒฝ ์ ์ ๋ฐ ๊ฐํํ์ต ์๊ณ ๋ฆฌ์ฆ ์ด๋ก , ์ฝ๋ ๋ด์ฉ์ ํ์ตํฉ๋๋ค.
๊ตฌ์ฒด์ ์ผ๋ก ๋ณธ ๊ฐ์์์ ๋ค๋ฃจ๋ ๋ด์ฉ๋ค์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์๊ณ ๋ฆฌ์ฆ
- Proximal Policy Optimization (PPO)
- Attention PPO
- Adversarial PPO
- MA-POCA
- Exploration by RND (Random Network Distillation)
- HyperNetworks
ํ๊ฒฝ
- Dodge
- Pong
- EscapeRoom
- Maze
- TwoMission
์๋์ ์์๋ค์ ์ด๋ฒ ๊ฐ์๋ฅผ ํตํด ์ง์ ๊ตฌํํด๋ณผ ๊ฐํํ์ต ํ๊ฒฝ๋ค๊ณผ ์ด๋ฅผ ์ฌ๋ฌ๋ถ์ด ๊ตฌํํ ๊ฐํํ์ต ์๊ณ ๋ฆฌ์ฆ์ ํตํด ํ์ตํ ๊ฒฐ๊ณผ์
๋๋ค.





์๊ฐ ์ ์ฐธ๊ณ ์ฌํญ ๐ข
๋ณธ ๊ฐ์์ ๋ด์ฉ์ ์ธํ๋ฐ์ "์ ๋ํฐ ๋จธ์ ๋ฌ๋ ์์ด์ ํธ ์์ ์ ๋ณต (๊ธฐ์ดํธ)"์ ์๊ฐ์ ์๋ฃํ์
จ๋ค๋ ๊ฐ์ ์ ํ๊ณ ์ค๋ช
์ ์งํํ๊ณ ์์ต๋๋ค! (๊ธฐ์ดํธ ๋งํฌ)
ํน์ ๊ธฐ์ดํธ์ ์๊ฐํ์ง ์์ผ์ ๋ถ์ ๋จผ์ ๊ธฐ์ดํธ์ ์๊ฐํ์๋ ๊ฒ์ ์ถ์ฒ๋๋ฆฝ๋๋ค! ํ์ง๋ง ๊ฐํํ์ต์ ๊ธฐ์ด, ์ ๋ํฐ๋ ๋จธ์ ๋ฌ๋ ์์ด์ ํธ์ ๊ธฐ๋ณธ์ ์ธ ์ฌ์ฉ ๋ฐฉ๋ฒ์ ์๊ณ ๊ณ์ ๋ถ์ ๋ฐ๋ก ์์ฉํธ ๊ฐ์๋ฅผ ์๊ฐํ์
๋ ๊ด์ฐฎ์ต๋๋ค.
์ค์ต ํ๊ฒฝ
์ค์ต ํ๊ฒฝ์ ๊ฒฝ์ฐ ๊ฐ์๋ฅผ ์งํํ ๋ฒ์ ์ด ์ฝ๊ฐ ์ค๋๋ ๋ฒ์ ์ธ ๊ด๊ณ๋ก ๋น๊ต์ ์ต์ ์ํํธ์จ์ด๋ค๋ก ํธํ์ฑ์ ํ์ธํ์ต๋๋ค! ์๋ "๊ฐ์ ์งํ ๋ฒ์ "๊ณผ "ํธํ์ฑ ํ์ธ ๋ฒ์ " ์ค ์ด๋ค ์ค์ ์ผ๋ก ์งํํ์
๋ ๊ฐ์ ๋ด์ฉ์ ์งํํ์ค ์ ์์ต๋๋ค.
์ค์ต ํ๊ฒฝ (๊ฐ์ ์งํ ๋ฒ์ )
- Windows 10
- Unity 2021.1.18
- ML-Agents 2.0 (Unity) / ML-Agents 0.26.0 (Python)
- Python 3.8
- Pytorch 2.0
์ค์ต ํ๊ฒฝ (ํธํ์ฑ ํ์ธ ๋ฒ์ )
- Windows 10
- Unity 2022.3.4
- ML-Agents 3.0 (Unity) / ML-Agents 1.0.0 (Python)
- Python 3.8
- Pytorch 2.1
๊นํ๋ธ ๐
๋ณธ ๊ฐ์์ ๋ชจ๋ ํ๊ฒฝ๊ณผ ์๊ณ ๋ฆฌ์ฆ์ ์ฝ๋๋ ๋ค์ ๊นํ๋ธ์์ ์ดํด๋ณด์ค ์ ์์ต๋๋ค! ์์ฃผ ๋ฌผ์ด๋ณด๋ ์ง๋ฌธ ๋ด์ฉ๋ ํด๋น ๊นํ๋ธ ์ํค์ ์ ๋ฆฌ๋์ด ์์ผ๋ ์ฐธ๊ณ ๋ถํ๋๋ฆฝ๋๋ค!
https://github.com/reinforcement-learning-kr/Unity_ML_Agents_2.0
์๊ฐ ํ๊ฒ/๊ฐ์ ๋ชฉ์ ๐โโ๏ธ
์ง์๊ณต์ ์๊ฐ ์๊ฐํ๋ ์๊ฐ์ ์ ํ
- ๊ฐํํ์ต ํ๊ฒฝ ๊ฐ๋ฐ์ ๊ด์ฌ์ด ์๋ ๊ฐ๋ฐ์
- ๊ฐํํ์ต์ ์ด๋ก ๊ณผ ๊ตฌํ์ ๊ด์ฌ์ด ์๋ ํ์ ๋ฐ ์ฐ๊ตฌ์