ํ๋ก๊ทธ๋๋จธ๋ฅผ ์ํ ๊ฐํํ์ต(์ ์ ์ง๊ฐ)
๋น์ฆ๋์ค ํ์ ์ ํต์ฌ ๊ธฐ์ ๊ฐํํ์ต์ ๊ดํ ๊ฐ์ฅ ์ฝ๊ณ ์์ธํ ๊ฐ์!!! ํ๋ฃจ 2์๊ฐ(2๊ฐ ๊ฐ์) 17์ผ ์์ ๊ฐํํ์ต์ ๋น์ ์ ์์์ ๋ฃ์ด๋๋ฆฝ๋๋ค. ์ง๊ธ ์ด ์๊ฐ๋ถํฐ ๊ฐํํ์ต์ ์ดํดํ๊ธฐ ์ด๋ ค์ด ๋ฌธ์ ๊ฐ ์๋ ๋น์ ์ ์ํ ํ๋ฅญํ ๋๊ตฌ๊ฐ ๋ฉ๋๋ค.
์๊ฐ์ 471๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

- ๋ฏธํด๊ฒฐ
์ค์ต๊ฐ์ ์์ค์ฝ๋
๊ฐ์ ์ ๋ณด๊ณ ์์ต๋๋ค.๋ช๋ช ํ๋ก๊ทธ๋๋ฐ ์ค์ต๊ฐ์๊ฐ ์๋๋ฐ, ๊ฑฐ๊ธฐ์ ์ฌ์ฉ๋ ์์ค์ฝ๋๋ ๊ณต์ ๊ฐ ์๋๋์ง์? <p style="text-align: left"
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตYoonsang Lee
ใป
10๋ฌ ์
0
76
2
- ๋ฏธํด๊ฒฐ
ํ๊ฒฝ๊ตฌ์ถ์ ๋ํด์
anaconda์์๋ ํ๊ฒฝ๊ตฌ์ถ ํ๊ธฐ๊ฐ ํ๋ ๊ฐ์? ์ ๊ฐ ์ฐ๊ตฌ์ค ์ปดํฐ๊ฐ conda ๊ฐ์ํ๊ฒฝ์ผ๋ก ํ๊ฒฝ๊ตฌ์ถ์ด ๋์ด์์ด์,,,python๋ 3.13.5์ฐ๊ณ ์๋๋ฐ ๋ค ์ญ์ ํ๊ณ 3.7.7์ค์นํ๋ ๊ฑด ์กฐ๊ธ ๋ถ๋ด์ด ๋์ ใ
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ต์์ ํ
ใป
10๋ฌ ์
0
82
2
- ๋ฏธํด๊ฒฐ
MyModel(tf.keras.Model)์ action matrix์ reward์ ๊ด๋ จํด์
training์์ ํ์ํ action matrix์ reward๋ฅผ ๋ฐ๊ธฐ์ํด inputs์ dummy๋ก input_action_matrixs์ input_rewards๋ฅผ ์ ์ํ๊ณ ์๋๊ฒ์ฒ๋ผ ๋ณด์ด๋๋ฐ์. ์ด๋ ๊ฒ ํ์ง์๊ณ MyMode
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตbs Jeon
ใป
0
316
1
- ๋ฏธํด๊ฒฐ
2.7 TD ์ํ๊ฐ์นํจ์
2.7 TD์ SARSA๋ฅผ ๊ณต๋ถํ๋ ์ค ์ดํด๊ฐ ๊ฐ์ง ์๋ ๋ถ๋ถ์ด ์์ด ์ง๋ฌธ ๋๋ ธ์ต๋๋ค!์ํ๊ฐ์นํจ์ V(t)๋ ๋ฐํ๊ฐ์ ๋ํ ๊ธฐ๋๊ฐ์ด๊ณ ๋ค์ด๋ด๋ฏน ํ๋ก๊ทธ๋๋ฐ์ model-based์ด๊ธฐ ๋๋ฌธ์ ์ ์ฒด ์ํ์ ๊ฐ์น๋ฅผ ๋ค ์๋ค๋ ์ ์ ํ์ V(t)๋ฅผ ๊ตฌํ ์ ์์ต
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตtdv(s)์ ์ค์
ใป
1
272
1
- ๋ฏธํด๊ฒฐ
cartpole_DQN ์๋ฌ
<img src="https://cdn.inflearn.com/public/files/posts/e33eaf5a-b3fe-4149-b548-c9110ad2631e/cartpole_DQN์ง๋ฌธ.png" alt="cartpole_DQN ์ง๋ฌธ.png" title="car
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ต์ ์ค์
ใป
0
416
2
- ๋ฏธํด๊ฒฐ
๊ต์ฌ P42 MDP ๊ณ์ฐ ์ง๋ฌธ
๋งจ ์๋ ์์์ด ํ์ด1 X p1 + ํ์ด2 X p1 ์ผ๋ก ๋์ค๋๋ฐ์,ํ์ด1 X p1 + ํ์ด1 X p2 ๊ฐ ๋์ด์ผ ํ์ง ์๋์?ํ์ด๋ ํ๋์ ์ ํํ ํ๋ฅ ์ด๊ณ S1->S2
Nuno Bettencourt
ใป
0
252
1
- ๋ฏธํด๊ฒฐ
PPO์์ min()์ ์ฌ์ฉํ๋ ์ด์ ๊ฐ ๊ถ๊ธํฉ๋๋ค
์ค๋ช ํด์ฃผ์ ๋๋ก๋ฉด,min()์ ์ฌ์ฉํ์ง ์์๋ ์ด๋ฏธ clip()์ ํตํด์ r()์ด ์ํญ๊ณผ ํํ์ ๋๊ธฐ๋ฉด a ํน์ b๋ก ๊ณ ์ ๋๊ณ , ๊ทธ ๋ฒ์ ์์ ๋ค์ด๊ฐ๋ฉด r()์ด ๊ทธ๋๋ก ๋์ค๋ ๊ฒ์ผ๋ก ์๊ฐ๋ฉ๋๋ค. min()์ด ์ฌ๊ธฐ์ ์ด๋ ํ ์ญํ ์ ํ๋์ง ๊ถ๊ธํฉ๋๋ค.</p
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตcoden
ใป
0
595
1
- ๋ฏธํด๊ฒฐ
cartpole_reinforce.ipynb ์๋ฌ
์ฝ๋ฉ์์ cartpole_reinforce.ipynb ์คํ์ํฌ๋ ์๋์ ๊ฐ์ ์๋ฌ ๋ฐ์ํฉ๋๋ค.ValueError: Layer "my_model_1" expects 3 input(s), but it received 1 input tensors. Inpu
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋งyunwoo oh
ใป
0
533
2
- ๋ฏธํด๊ฒฐ
DQN ์๊ณ ๋ฆฌ์ฆ ์คํ ๊ฒฐ๊ณผ
๋ง์ํ์ ๋๋ก ์ฝ๋๋ฅผ ์์ ํ๋ ์ ์์ ์ผ๋ก ํ์ต์ ์งํํฉ๋๋ค.๋ค๋ง ํ์ต ๊ฒฐ๊ณผ๊ฐ ์ ์ข์๋ฐ.... ๊ฐ์์์ ์ค๋ช ํ์ ๊ฒ์ ๋ณด๋ฉด ํ์ดํผ ํ๋ผ๋ฉํฐ์ ๋ฏผ๊ฐํ๋ค๊ณ ํ์ จ์ต๋๋ค.์ ์๊ฐ์๋ ํ์ดํผ ํ๋ผ๋ฉํ ๋ฌธ์ ๋ณด๋ค ํ๊ฒ ์ ๊ฒฝ๋ง์ ๊ณ์ ์ ๋ฐ์ดํธํ๋ ๋ฌธ์ ,
ํ๊ฒ์ ๊ฒฝ๋ง์ธ๊ณต์ ๊ฒฝ๋งdqn๊ฐํํ์ตljp4122
ใป
0
359
1
- ๋ฏธํด๊ฒฐ
DQN ์ฝ๋ ์๋ฌ
ValueError: cannot reshape array of size 2 into shape (1,4) DQN ์ฝ๋์์ ๋ค์๊ณผ ๊ฐ์ ์๋ฌ๊ฐ ๋ฉ๋๋ค.state_t = np.re
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋งljp4122
ใป
0
496
1
- ๋ฏธํด๊ฒฐ
DQN ์ง๋ฌธ
<img src="https://cdn.inflearn.com/public/files/posts/c8ba8c0e-02aa-4902-87d1-45f68a47d82d/DQN ๊ธฐ๋ณธ ๊ฐ๋ .png" alt="DQN ๊ธฐ๋ณธ ๊ฐ๋ .png" title="DQN ๊ธฐ๋ณธ ๊ฐ๋ .png"
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋งljp4122
ใป
0
548
1
- ๋ฏธํด๊ฒฐ
๊ฐ๋ฐํ๊ฒฝ ๊ตฌ์ถ๊ด๋ จ ๋ฌธ์ ๋๋ฆฝ๋๋ค.
์๋ ํ์ธ์... ๊ฐ์ ํ๊ฒฝ ๊ตฌ์ถ๊ด๋ จ ๋ฌธ์ ์ ๋๋ค.๋ฆฌ๋ ์ค์ ๋์ปค ๊น๊ณ ๊ฑฐ๊ธฐ์ ํ๊ฒฝ์ ๋ง๋๋ ค๊ณ ํ๋๋ฐ์.(visual code๋ก ์ ์ํด์ ์ฌ์ฉ)Microsoft Visual C++ ์ค์น๋ ๋์ ์๋๋ฐ.๋ฆฌ๋
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋ง์กฐ๋ณ๊ธฐ
ใป
0
232
1
- ๋ฏธํด๊ฒฐ
MDP์ง๋ฌธ
๊ต์ฌ์์ v(s)์ vใ (s)๊ฐ ๊ฐ์ ๊ฐ์ด๋ผ๊ณ ํ์ จ๋๋ฐ, ๊ทธ๋ฌ๋ฉด ์ต์ ์ํ ๊ฐ์น ํจ์๋ ์ด๋ป๊ฒ ๋์ค๋ ๊ฑด๊ฐ์? ์ด์ฐจํผ v(s)๋ vใ (s)์ ๊ฐ์ ๊ฐ์ผ ํ ํ ์ด๋ป๊ฒ ๊ฐ์ด ๋ณํ๋๋ ๊ฑด์ง ๋ชจ๋ฅด๊ฒ ์ต๋๋ค.
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตljp4122
ใป
0
210
1
- ๋ฏธํด๊ฒฐ
MDP ์ง๋ฌธ
MDP์์ ์ํ๊ฐ ๋ณํ๋ค๋ ๊ฒ์ ์๋ ๊ฐ์ง๊ณ ์๋ ์ํ ์ ์ด ๋งคํธ๋ฆญ์ค์ ์ ์ฑ ์ ์ํฅ์ ๋์์ ๋ฐ๋๋ค๋ ๊ฒ๊ณผ ๊ฐ๋ค. (์ดํด์๋ฃ)๋ฐ๋ผ์ ํ๋์ ๋ฐ๋ฅธ ์ ์ฑ ๊ณผ ์ํ ์ ์ด ํ๋ฅ ์ ๊ธฐ๋๊ฐ(ํ๊ท )์ ๊ตฌํจ์ผ๋ก์ ์ ์ฑ ์ ๊ณ ๋ คํ ์ํ ์ ์ด ๋งคํธ๋ฆญ์ค๋ฅผ ๊ตฌํ ์ ์๋ค(์ดํด
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋งljp4122
ใป
0
269
1
- ๋ฏธํด๊ฒฐ
๋ณด์๊ฐ๊ณผ ๋ณด์ํจ์
MRP์์ R์ ๋ณด์ ํจ์๋ผ๊ณ ์ฑ ์ ์จ ๋์ จ๋๋ฐ, ์ฌ๊ธฐ์ ๋ณด์ํจ์๋ฅผ ๊ตฌํ๋ ๋ฐฉ๋ฒ์ ํ๋ฅ ์ ๊ธฐ๋๊ฐ์ผ๋ก ๊ณ์ฐํ๋ค๊ณ ํ์ จ์ต๋๋ค. ํ๋ฅ ์ ๊ธฐ๋๊ฐ์ ๊ตฌํ๋ ๋ฐฉ๋ฒ์ ๊ฐ๊ฐ์ ํ๋ฅ ์ ํด๋น ์ํ์ ๊ธฐ๋๊ฐ(์ฃผ์ด์ง๋ ๊ฐ, ์์์ ๊ฐ)์ ๊ณฑํ ๊ฒ์ ๋ค ๋ํด์ฃผ๋ฉด ๋๋ค๊ณ ํ์ จ
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋งljp4122
ใป
0
879
1
- ๋ฏธํด๊ฒฐ
MDP ์ํ๊ฐ์น ํจ์์์ ๊ธฐ๋๊ฐ ๊ด๋ จ ์ง๋ฌธ ๋๋ฆฝ๋๋ค.
์๋ ํ์ธ์, ์ ์๋MDP ์ํ๊ฐ์น ํจ์์์ ์ ์ฑ ์ ๊ธฐ๋๊ฐ ์์ด ์ดํด๊ฐ ์ ์๊ฐ๋๋ค. ๊ธฐ๋๊ฐ์ ์๊ฐ์์์ ์๋ ค์ฃผ์ ๋ฐ์ ๊ฐ์ด gain x ํ๋ฅ ์ ์ดํฉ์ผ๋ก ์ ์๋๋๋ฐ ์ด ์ ์ฑ ์ ๊ธฐ๋๊ฐ์ ์กฐ๊ฑด๋ถ ํ๋ฅ pi์ ํฉ์ธ๋ฐ ์ด๋ป๊ฒ ๊ธฐ๋๊ฐ์ด ๋๋๊ฑด๊ฐ์?
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตKevin Ryu
ใป
0
417
1
- ๋ฏธํด๊ฒฐ
Reward ์ ๋ํ ์ง๋ฌธ ๋๋ฆฝ๋๋ค.
<div class="type-pl
reward์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ตKim Sunggu
ใป
1
242
1
- ๋ฏธํด๊ฒฐ
ppo์์ exploration์ ์ด๋ป๊ฒ ํ๋์ง ๊ถ๊ธํฉ๋๋ค.
์๋ ํ์ธ์ ๊ฐ์ ์ ๋ฃ๊ณ ์ด๋ฅผ ํ ๋๋ก ๋ชจ๋ธ์ ๋ง๋ค์ด์ ํ์ตํ๊ณ ์์ต๋๋ค. ์ ๋ ppo๊ธฐ๋ฐ์ผ๋ก ํ์ต์ ์งํํ๋๋ฐ์ ์ ๊ฐ ๋ง๋ ํ๊ฒฝ์์ ์ด๋์ ๋ ํ์ต์ด ์ด๋ฃจ์ด์ง๋ฉด ํ๊ฒฝ์ด ์กฐ๊ธ ๋ณํ ๋์ด ์ง์ ํ์ต์ ํ๊ฒ๋ํ์์ต๋๋ค. ์ฌ
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ต๊ตฟ์ด์ด
ใป
0
884
2
- ๋ฏธํด๊ฒฐ
๊ฐ์ ์ธ ์ง๋ฌธ์ ๋๋ค. Env ๋ด๋ถ action์ ๋ํ ์ง๋ฌธ์ ๋๋ค.
์๋
๊ฐํํ์ต์ธ๊ณต์ ๊ฒฝ๋ง๊น์ ์
ใป
0
305
1
- ๋ฏธํด๊ฒฐ
episode์ค๊ฐ์ weight๋ ๋ชจ๋ธ์ ์ ์ฅํ๊ณ ์ถ์ต๋๋ค.
์
์ธ๊ณต์ ๊ฒฝ๋ง๊ฐํํ์ต๊น์ ์
ใป
0
942
2






