์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์™„์ „์ •๋ณต (์‘์šฉํŽธ)

์ด ๊ฐ•์˜๋ฅผ ํ†ตํ•ด ๋ฉ€ํ‹ฐ์—์ด์ „ํŠธ, ์ปค๋ฆฌํ˜๋Ÿผ ํ•™์Šต, ๋ถ„์‚ฐํ•™์Šต ๋“ฑ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ์˜ ๋‹ค์–‘ํ•œ ๊ธฐ๋Šฅ๋“ค์„ ๋ฐฐ์šฐ๊ณ  ์ง์ ‘ ์‚ฌ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ํ˜ธ๊ธฐ์‹ฌ ๊ธฐ๋ฐ˜ ํƒํ—˜, ๊ฐ€๋ณ€์ ์ธ ์ž…๋ ฅ์—๋„ ๋Œ€์‘ ๊ฐ€๋Šฅํ•œ ๊ฐ•ํ™”ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ๋Œ€ํ•ด์„œ๋„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

(5.0) ์ˆ˜๊ฐ•ํ‰ 5๊ฐœ

์ˆ˜๊ฐ•์ƒ 126๋ช…

๋‚œ์ด๋„ ์ค‘๊ธ‰์ด์ƒ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

์ธ๊ณต์ง€๋Šฅ
์ธ๊ณต์ง€๋Šฅ
๊ฒŒ์ž„๊ฐœ๋ฐœ์ž
๊ฒŒ์ž„๊ฐœ๋ฐœ์ž
์ธ๊ณต์ง€๋Šฅ
์ธ๊ณต์ง€๋Šฅ
๊ฒŒ์ž„๊ฐœ๋ฐœ์ž
๊ฒŒ์ž„๊ฐœ๋ฐœ์ž

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

5.0

5.0

์œค์ค€์˜

31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

์˜ˆ์ œ๊ฐ€ ์ž˜๋˜์–ด์žˆ์–ด์„œ ๋„ˆ๋ฌด ์ข‹์Šต๋‹ˆ๋‹ค

5.0

์œค์šฉ๊ณค

60% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

์ข‹์€ ๊ฐ•์˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

5.0

๋ฐฐ๊ณ ํŒŒ

31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

์—„์ฒญ ๋„์›€์ด ๋˜๋Š” ๊ฐ•์˜ ์ž…๋‹ˆ๋‹ค.

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • ์œ ๋‹ˆํ‹ฐ

  • ์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ

  • ๊ฐ•ํ™”ํ•™์Šต ํ™˜๊ฒฝ ์ œ์ž‘

  • ๊ฐ•ํ™”ํ•™์Šต ์ด๋ก 

  • ๊ฐ•ํ™”ํ•™์Šต ์ฝ”๋“œ ๊ตฌํ˜„

๊ฐ•์˜ ์ฃผ์ œ ๐Ÿ“–

์ด๋ฒˆ ์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์™„์ „์ •๋ณต (์‘์šฉํŽธ) ๊ฐ•์˜๋ฅผ ํ†ตํ•ด์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‚ด์šฉ๋“ค์„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค!

  • ์œ ๋‹ˆํ‹ฐ๋ฅผ ์ด์šฉํ•œ ๊ฐ•ํ™”ํ•™์Šต ํ™˜๊ฒฝ ์ œ์ž‘ ๋ฐฉ๋ฒ• 
  • ์‘์šฉ ๊ฐ•ํ™”ํ•™์Šต ๊ธฐ๋ฒ•์„ ์œ„ํ•œ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์ ์šฉ ๋ฐฉ๋ฒ• 
  • ์‘์šฉ ๊ฐ•ํ™”ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ด๋ก  ๋ฐ ์ฝ”๋“œ ์ž‘์„ฑ ๋ฐฉ๋ฒ• 
  • mlagents-learn์„ ์ด์šฉํ•œ ์‘์šฉ ๊ฐ•ํ™”ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ ํ•™์Šต ๋ฐฉ๋ฒ• 

๊ฐ•์˜ ํŠน์ง• โœจ

๋ณธ ๊ฐ•์˜์—์„œ๋Š” ๊ฐ•ํ™”ํ•™์Šต์˜ ์ด๋ก ์„ ํ•™์Šตํ•˜๊ณ  ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•˜๋Š” ๊ฒƒ ๋ฟ ์•„๋‹ˆ๋ผ ํ•ด๋‹น ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ•™์Šตํ•˜๊ธฐ ์œ„ํ•œ ๊ฐ•ํ™”ํ•™์Šต ํ™˜๊ฒฝ์„ ์ œ์ž‘ํ•˜๋Š” ๋‚ด์šฉ๊นŒ์ง€ ๋‹ค๋ฃจ๋Š” ๊ฐ•์˜๋กœ์„œ ๊ฐ•ํ™”ํ•™์Šต์„ ์œ„ํ•œ ๋ชจ๋“  ๋‚ด์šฉ์„ ๋‹ค๋ฃฌ๋‹ค๊ณ  ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋˜ํ•œ ๋ณธ ๊ฐ•์˜์—์„œ๋Š” ์ผ๋ฐ˜์ ์ธ ๊ฐ•ํ™”ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ฟ ์•„๋‹ˆ๋ผ ๋ฉ€ํ‹ฐ์—์ด์ „ํŠธ, ์ปค๋ฆฌํ˜๋Ÿผ ํ•™์Šต, ๋ถ„์‚ฐ ํ•™์Šต, ์–ด๋ ค์šด ํƒํ—˜ ํ™˜๊ฒฝ ๋“ฑ ์—ฌ๋Ÿฌ ์‘์šฉ ๊ฐ•ํ™”ํ•™์Šต์˜ ๋‚ด์šฉ๊นŒ์ง€ ํญ๋„“๊ฒŒ ๋‹ค๋ฃจ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.   


ํ•™์Šต ๋‚ด์šฉ ๐Ÿ“š

์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์™„์ „ ์ •๋ณต (์‘์šฉํŽธ)์—์„œ๋Š” ์‘์šฉ ๊ฐ•ํ™”ํ•™์Šต ๊ธฐ๋ฒ•๋“ค์„ ์œ„ํ•œ ํ™˜๊ฒฝ ์ œ์ž‘ ๋ฐ ๊ฐ•ํ™”ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ด๋ก , ์ฝ”๋“œ ๋‚ด์šฉ์„ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค.
๊ตฌ์ฒด์ ์œผ๋กœ ๋ณธ ๊ฐ•์˜์—์„œ ๋‹ค๋ฃจ๋Š” ๋‚ด์šฉ๋“ค์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.  

์•Œ๊ณ ๋ฆฌ์ฆ˜

  • Proximal Policy Optimization (PPO) 
  • Attention PPO 
  • Adversarial PPO 
  • MA-POCA 
  • Exploration by RND (Random Network Distillation) 
  • HyperNetworks

ํ™˜๊ฒฝ 

  • Dodge
  • Pong 
  • EscapeRoom
  • Maze
  • TwoMission 

์•„๋ž˜์˜ ์˜์ƒ๋“ค์€ ์ด๋ฒˆ ๊ฐ•์˜๋ฅผ ํ†ตํ•ด ์ง์ ‘ ๊ตฌํ˜„ํ•ด๋ณผ ๊ฐ•ํ™”ํ•™์Šต ํ™˜๊ฒฝ๋“ค๊ณผ ์ด๋ฅผ ์—ฌ๋Ÿฌ๋ถ„์ด ๊ตฌํ˜„ํ•  ๊ฐ•ํ™”ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ†ตํ•ด ํ•™์Šตํ•œ ๊ฒฐ๊ณผ์ž…๋‹ˆ๋‹ค.

Dodge

Pong

EscapeRoom

Maze

TwoMission


์ˆ˜๊ฐ• ์ „ ์ฐธ๊ณ  ์‚ฌํ•ญ ๐Ÿ“ข

๋ณธ ๊ฐ•์˜์˜ ๋‚ด์šฉ์€ ์ธํ”„๋Ÿฐ์˜ "์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์™„์ „์ •๋ณต (๊ธฐ์ดˆํŽธ)"์˜ ์ˆ˜๊ฐ•์„ ์™„๋ฃŒํ•˜์…จ๋‹ค๋Š” ๊ฐ€์ •์„ ํ•˜๊ณ  ์„ค๋ช…์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค! (๊ธฐ์ดˆํŽธ ๋งํฌ
ํ˜น์‹œ ๊ธฐ์ดˆํŽธ์„ ์ˆ˜๊ฐ•ํ•˜์ง€ ์•Š์œผ์‹  ๋ถ„์€ ๋จผ์ € ๊ธฐ์ดˆํŽธ์„ ์ˆ˜๊ฐ•ํ•˜์‹œ๋Š” ๊ฒƒ์„ ์ถ”์ฒœ๋“œ๋ฆฝ๋‹ˆ๋‹ค! ํ•˜์ง€๋งŒ ๊ฐ•ํ™”ํ•™์Šต์˜ ๊ธฐ์ดˆ, ์œ ๋‹ˆํ‹ฐ๋‚˜ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ์˜ ๊ธฐ๋ณธ์ ์ธ ์‚ฌ์šฉ ๋ฐฉ๋ฒ•์„ ์•Œ๊ณ  ๊ณ„์‹  ๋ถ„์€ ๋ฐ”๋กœ ์‘์šฉํŽธ ๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ•˜์…”๋„ ๊ดœ์ฐฎ์Šต๋‹ˆ๋‹ค.  

์‹ค์Šต ํ™˜๊ฒฝ

์‹ค์Šต ํ™˜๊ฒฝ์˜ ๊ฒฝ์šฐ ๊ฐ•์˜๋ฅผ ์ง„ํ–‰ํ•œ ๋ฒ„์ „์ด ์•ฝ๊ฐ„ ์˜ค๋ž˜๋œ ๋ฒ„์ „์ธ ๊ด€๊ณ„๋กœ ๋น„๊ต์  ์ตœ์‹  ์†Œํ”„ํŠธ์›จ์–ด๋“ค๋กœ ํ˜ธํ™˜์„ฑ์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค! ์•„๋ž˜ "๊ฐ•์˜ ์ง„ํ–‰ ๋ฒ„์ „"๊ณผ "ํ˜ธํ™˜์„ฑ ํ™•์ธ ๋ฒ„์ „" ์ค‘ ์–ด๋–ค ์„ค์ •์œผ๋กœ ์ง„ํ–‰ํ•˜์…”๋„ ๊ฐ•์˜ ๋‚ด์šฉ์„ ์ง„ํ–‰ํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

์‹ค์Šต ํ™˜๊ฒฝ (๊ฐ•์˜ ์ง„ํ–‰ ๋ฒ„์ „)

  • Windows 10
  • Unity 2021.1.18 
  • ML-Agents 2.0 (Unity) / ML-Agents 0.26.0 (Python)
  • Python 3.8
  • Pytorch 2.0 

์‹ค์Šต ํ™˜๊ฒฝ (ํ˜ธํ™˜์„ฑ ํ™•์ธ ๋ฒ„์ „)

  • Windows 10
  • Unity 2022.3.4 
  • ML-Agents 3.0 (Unity) / ML-Agents 1.0.0 (Python)
  • Python 3.8
  • Pytorch 2.1 

๊นƒํ—ˆ๋ธŒ ๐Ÿ™

๋ณธ ๊ฐ•์˜์˜ ๋ชจ๋“  ํ™˜๊ฒฝ๊ณผ ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ์ฝ”๋“œ๋Š” ๋‹ค์Œ ๊นƒํ—ˆ๋ธŒ์—์„œ ์‚ดํŽด๋ณด์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค! ์ž์ฃผ ๋ฌผ์–ด๋ณด๋Š” ์งˆ๋ฌธ ๋‚ด์šฉ๋„ ํ•ด๋‹น ๊นƒํ—ˆ๋ธŒ ์œ„ํ‚ค์— ์ •๋ฆฌ๋˜์–ด ์žˆ์œผ๋‹ˆ ์ฐธ๊ณ  ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค!
https://github.com/reinforcement-learning-kr/Unity_ML_Agents_2.0


์ˆ˜๊ฐ• ํƒ€๊ฒŸ/๊ฐ•์˜ ๋ชฉ์  ๐Ÿ™†โ€โ™€๏ธ

์ง€์‹๊ณต์œ ์ž๊ฐ€ ์ƒ๊ฐํ•˜๋Š” ์ˆ˜๊ฐ•์ƒ ์œ ํ˜•

  • ๊ฐ•ํ™”ํ•™์Šต ํ™˜๊ฒฝ ๊ฐœ๋ฐœ์— ๊ด€์‹ฌ์ด ์žˆ๋Š” ๊ฐœ๋ฐœ์ž
  • ๊ฐ•ํ™”ํ•™์Šต์˜ ์ด๋ก ๊ณผ ๊ตฌํ˜„์— ๊ด€์‹ฌ์ด ์žˆ๋Š” ํ•™์ƒ ๋ฐ ์—ฐ๊ตฌ์ž 

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์™„์ „์ •๋ณต (๊ธฐ์ดˆํŽธ)์„ ์ˆ˜๊ฐ•ํ•˜์‹  ๋ถ„

  • ์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ์˜ ์‘์šฉ ๊ธฐ๋ฒ•๋“ค์„ ์‚ฌ์šฉํ•ด๋ณด๊ณ  ์‹ถ์€ ๊ฐœ๋ฐœ์ž

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • ์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์™„์ „์ •๋ณต (๊ธฐ์ดˆํŽธ)

  • ๊ธฐ๋ณธ์ ์ธ ์œ ๋‹ˆํ‹ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ์—์ด์ „ํŠธ ์‚ฌ์šฉ ๋ฐฉ๋ฒ•

  • ๊ฐ•ํ™”ํ•™์Šต์— ๋Œ€ํ•œ ๊ธฐ๋ณธ์ ์ธ ์ง€์‹ (DQN, DDPG, A2C, ...)

์•ˆ๋…•ํ•˜์„ธ์š”
๋ฏผ๊ทœ์‹์ž…๋‹ˆ๋‹ค.

648

๋ช…

์ˆ˜๊ฐ•์ƒ

30

๊ฐœ

์ˆ˜๊ฐ•ํ‰

102

๊ฐœ

๋‹ต๋ณ€

4.4

์ 

๊ฐ•์˜ ํ‰์ 

2

๊ฐœ

๊ฐ•์˜

๊ณต๋™ ์ง€์‹๊ณต์œ ์ž

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

58๊ฐœ โˆ™ (11์‹œ๊ฐ„ 26๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

5๊ฐœ

5.0

5๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

  • ์œค์šฉ๊ณค๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ์œค์šฉ๊ณค

    ์ˆ˜๊ฐ•ํ‰ 4

    โˆ™

    ํ‰๊ท  ํ‰์  4.5

    5

    60% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ์ข‹์€ ๊ฐ•์˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

    • ์œค์ค€์˜๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
      ์œค์ค€์˜

      ์ˆ˜๊ฐ•ํ‰ 1

      โˆ™

      ํ‰๊ท  ํ‰์  5.0

      5

      31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

      ์˜ˆ์ œ๊ฐ€ ์ž˜๋˜์–ด์žˆ์–ด์„œ ๋„ˆ๋ฌด ์ข‹์Šต๋‹ˆ๋‹ค

      • _๊ฐ€์—ฌ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
        _๊ฐ€์—ฌ

        ์ˆ˜๊ฐ•ํ‰ 3

        โˆ™

        ํ‰๊ท  ํ‰์  5.0

        5

        100% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

        • ๋ฐฐ๊ณ ํŒŒ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
          ๋ฐฐ๊ณ ํŒŒ

          ์ˆ˜๊ฐ•ํ‰ 13

          โˆ™

          ํ‰๊ท  ํ‰์  5.0

          5

          31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

          ์—„์ฒญ ๋„์›€์ด ๋˜๋Š” ๊ฐ•์˜ ์ž…๋‹ˆ๋‹ค.

          • sin๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
            sin

            ์ˆ˜๊ฐ•ํ‰ 4

            โˆ™

            ํ‰๊ท  ํ‰์  5.0

            5

            31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

            ๋ฏผ๊ทœ์‹๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

            ์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

            ๋น„์Šทํ•œ ๊ฐ•์˜

            ๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

            โ‚ฉ66,000