Anaconda설치하고 RLKit 아래 입력하면 아래처럼 에러 뜹니다. 급하게 해결 연락 부탁드립니다 tjnettt@gmail.com 010-9128-6990 (base) c:\RLkit>python index.pyTraceback (most recent call last): File "c:\RLkit\index.py", line 1, in <module> from flask import render_template, request, jsonify File "C:\Users\tjnet\anaconda3\Lib\site-packages\flask\__init__.py", line 19, in <module> from jinja2 import Markup, escapeImportError: cannot import name 'Markup' from 'jinja2' (C:\Users\tjnet\anaconda3\Lib\site-packages\jinja2\__init__.py) 

이런 식으로 잘 실행이 되었는데 이 이후에 이런 문제가 떠버리네요 환경 문제라고 나오는 거 같은데 전혀 모르겠습니다,,

학습 하기 전 mlagents-learn --hlep를 실행했는데 이런 문제가 생기네요,, 혹시 어떤 문제일지 알 수 있을까요?

제목에 해당하는 강의를 재생했을경우 이전파트인 강화학습의 기본 원리와 용어/기호 랑 동일한 강의가 재생됩니다~

DQN 환경 학습에서 conv1 레이어로 들어가는 인풋이 [32,168,3,64] 사이즈로 들어가서 에러가 나는 상황입니다. state size를 확인해보니 84가 아닌 168이 계속 인풋으로 들어오는데, 유니티 환경이 잘못된 것일까요?

우선 좋은 수업 감사드립니다.  PPO 알고리즘 수업에서 PPO Actor-Critic Network 의 전체 손실 값은 clipped surrogate objective - c1 * value loss (critic loss) + c2 * action entropy 라고 배웠는데, 관련 부분에 대한 코드를 보면 actor_loss = -torch.min(surr1, surr2).mean() critic_loss = F.mse_loss(value, _ret).mean() total_loss = actor_loss + critic_loss로 action entropy 에 대한 연산은 없는 것 같아 보입니다. 혹시 제가 잘못 알고 있거나, 다른 부분에서 이미 고려된 것이라면, 알려주시길 부탁 드립니다. 아니면 고려하지 않아도 되는 조건이라면 어떤 이유가 있는지 알고 싶습니다.  감사합니다.  

코드 설명과 실제 구동화면을 같이 보여주면 따라하기 편할거 같은데요..실제로 어떻게 구동하는지 나오지 않으니 따라가기 힘드네요

..  

a09.rnd_ppo.pya11.hypernetworks_ppo.py이 두 파일이 실행이 안됩니다. 나머지 파일은 잘 실행되네요. 

안녕하세요?강의 스타일은 일반인들이 접하기 쉽게 잘 만들어진 것 같습니다.그런데 엑셀파일(excel_deep_함수구성.xlsm) 다운로드를 받았는데내용이 보이지 않는군요...매크로 포함파일이라 그런지 ? 어떤 이유인지 잘 모르겠습니다.Office 2016이고, 경고창 나왔을 때 "편집사용"으로 하였습니다.수고하세요.

안녕하세요!먼저 기초편에 이어서 응용편 강의를 공개해주셔서 정말 감사합니다!! 해당 강의를 들으면서 PPO 알고리즘을 ml-agents learn 명령어로 학습 할 때와 추론할 때 메소드 호출 순서에 대해서 궁금합니다.이 내용이 궁금한 이유는 각 학습 또는 추론 과정에서 각 메소드별로 연산 시간을 측정하기 위해서 입니다. 관련 자료를 어디서 확인할 수 있을까요? 감사합니다!

안녕하세요 강의 잘 듣고 있습니다. 제가 Unity에서 3DBall 실행까지는 성공시켰습니다. 그런데 Anaconda 가상 환경에서 mlagents-learn 을 사용하여서 config\ppo\3DBall.yaml 유니티 빌드 경로 --run-id=tutorial_1 을 실행하는 것에서 에러가 떴습니다. 어떻게 수정을 해야 하는자 정말 모르겠습니다. 알려주시면 감사하겠습니다.

training시에 필요한 action matrix와 reward를 받기위해 inputs에 dummy로 input_action_matrixs와 input_rewards를 정의하고 있는것처럼 보이는데요. 이렇게 하지않고 MyModel에 예를들면 setActionMatrixs, setRewards 이런식으로 함수를 정의하고 fit를 호출하기전에 set함수를 호출하여도 될것 같은데, 이렇게 했을때 단점이 있나요?

안녕하세요. 강사님. 강의 잘 들었습니다. 한번에 이해가 안되서 여러번 복습해야 할 것 같습니다. 다름이 아니고, 마지막 Deep Neural Network 이해를 돕기 위한 코드 자료에서 에러가 발생합니다.강의자료는 110_basic_operations_for_Function_Approximation 입니다.  states_v 출력부터 에러가 나는데, 코드를 보면 앞에서 states_v를 선언하는 내용이 없습니다. 코드 내용 확인바랍니다. 감사합니다.

2강 29분정도에 law of iterated expectation에 의해서 v가 Expectation에 들어갈 수 있다고 하는데 어떻게 전개가 되는지 궁금합니다.

비슷한 주제로 네번째 글을 올리게 되었습니다. -.-;매번 답변에 항상 감사드립니다.몇몇 실수를 교정한 현재의 현상을 나열해 드립니다. 책 및 github의 스크립트를 따랐을 때(1) 실행 코드 (2)에러 화면동영상 강의 내용을 따랐을 때(1) 실행코드(2) 에러화면null==sensor 를 null!=sensor로 교정하였을 때(답변해주신 글 도움 받음)(1) 실행코드(2) 에러 화면 ※ observation size (6)와 observation size (2)의 인식이 문제인 것 같습니다. 도움 부탁드립니다.

python API 를 이용한 BC는 무사히 잘 작동합니다.재밌네요. ㅎㅎ현재는 제목처럼, yaml에 GAIL 및 BC를 설정해서, 유니티의 mlagents-learn으로 실행하는 하는 것을 시도하고 있습니다.Kart.exe 의 창이 뜨고 잘 진행되는 듯하다가 다음과 같이 커맨트창에 에러를 내놓고 꺼집니다.저의 yaml 파일 내용을 다음과 같습니다. 

에러 캡쳐기존에 score가 낮게 나온 것도 이것을 해결하지 않고 빌드해서 그런 것 같습니다.저의 GridAgent.cs에서 CollectObservation 함수 부분 캡쳐유니티 내 에이전트의 인스펙터의 설정도움 부탁드립니다. 

안녕하세요.개인 프로젝트를 진행하면서 강의를 보면서 많은 도움을 받고 있습니다. 좋은 강의 만들어주셔서 감사합니다.vector observation 입력을 정규화하려면 network settings에 normalize를 true로만 설정하면 되나요?예를 들어 Agent 코드에서 CollectObservation 메소드에 차량의 속도를 아래와 같이 정규화하지 않은 속도만 추가하고 paramater에서 normalize를 true로 설정하면 속도가 자동으로 normalize가 되는지 궁금합니다. public override void CollectObservations(VectorSensor sensor) {sensor.AddObservation(car.velocity);} 감사합니다.

환경(GridWorld.exe)에서 학습하는 모습도 잘 나오고,터미널에서 학습 진행도 잘 되고,tensorboard에서 학습결과 그래프도 잘 나오는데요,정작 학습결과의 내용에서 score가 너무 낮게 나와요.학습이 잘 안 되고 있다는 뜻이겠죠.어디를 손 봐야 좋은 걸까요?DQN, A2C 모두 마찬가지입니다.pytorch 버전이 너무 낮아서 그런가 싶어서 높여줘도 마찬가지고요.(1.6.0 -> 1.12.1)tensorboard의 제 학습 결과 화면입니다.DQN 학습결과A2C 학습결과