유니티 머신러닝 에이전트 완전정복 (기초편)대시보드

안녕하세요 강의 잘 듣고 있습니다. 제가 Unity에서 3DBall 실행까지는 성공시켰습니다. 그런데 Anaconda 가상 환경에서 mlagents-learn 을 사용하여서 config\ppo\3DBall.yaml 유니티 빌드 경로 --run-id=tutorial_1 을 실행하는 것에서 에러가 떴습니다. 어떻게 수정을 해야 하는자 정말 모르겠습니다. 알려주시면 감사하겠습니다.

안녕하세요...ML-Agent 책을 사서 보다가 막히는데가 있어서 인강까지..찾아듣게 되었습니다.이전 mlagents-learn 으로는 진행을 했습니다. 이후Python API 예제 코드를 사용해서 학습하려고 합니다.그런데.... cmd 창에서 관련 파이썬 코드 Python_api.py 를 입력하면 아무런 변화가 없습니다.혹시 몰라서 한줄 한줄 입력할 때에는 무언가 변화가 있는거 같은데...파이썬 스크립트로 한꺼번에 진행하려고 하면 변화가 없는데요...어디서 무엇이 문제인지 알아볼 수 있을까요?관련 코드를 vs code로 살펴볼 때..의 mlagents_env.environment 부분에서 에러가 발생한다고 하는데.. 파이썬에서 한줄 한줄 입력할 때에는 괜찮은 거 같은데요... 참고로 윈도우에서 pip 로 python 팩키지 설치 및 가상 환경 구성해서 진행하고 있으며 - ml agents ver 2.0- pyhthon 3.9.9- pytorch 에서 토치 버전은 2.1.0 + cu118 입니다.

비슷한 주제로 네번째 글을 올리게 되었습니다. -.-;매번 답변에 항상 감사드립니다.몇몇 실수를 교정한 현재의 현상을 나열해 드립니다. 책 및 github의 스크립트를 따랐을 때(1) 실행 코드 (2)에러 화면동영상 강의 내용을 따랐을 때(1) 실행코드(2) 에러화면null==sensor 를 null!=sensor로 교정하였을 때(답변해주신 글 도움 받음)(1) 실행코드(2) 에러 화면 ※ observation size (6)와 observation size (2)의 인식이 문제인 것 같습니다. 도움 부탁드립니다.

python API 를 이용한 BC는 무사히 잘 작동합니다.재밌네요. ㅎㅎ현재는 제목처럼, yaml에 GAIL 및 BC를 설정해서, 유니티의 mlagents-learn으로 실행하는 하는 것을 시도하고 있습니다.Kart.exe 의 창이 뜨고 잘 진행되는 듯하다가 다음과 같이 커맨트창에 에러를 내놓고 꺼집니다.저의 yaml 파일 내용을 다음과 같습니다. 

에러 캡쳐기존에 score가 낮게 나온 것도 이것을 해결하지 않고 빌드해서 그런 것 같습니다.저의 GridAgent.cs에서 CollectObservation 함수 부분 캡쳐유니티 내 에이전트의 인스펙터의 설정도움 부탁드립니다. 

안녕하세요.개인 프로젝트를 진행하면서 강의를 보면서 많은 도움을 받고 있습니다. 좋은 강의 만들어주셔서 감사합니다.vector observation 입력을 정규화하려면 network settings에 normalize를 true로만 설정하면 되나요?예를 들어 Agent 코드에서 CollectObservation 메소드에 차량의 속도를 아래와 같이 정규화하지 않은 속도만 추가하고 paramater에서 normalize를 true로 설정하면 속도가 자동으로 normalize가 되는지 궁금합니다. public override void CollectObservations(VectorSensor sensor) {sensor.AddObservation(car.velocity);} 감사합니다.

환경(GridWorld.exe)에서 학습하는 모습도 잘 나오고,터미널에서 학습 진행도 잘 되고,tensorboard에서 학습결과 그래프도 잘 나오는데요,정작 학습결과의 내용에서 score가 너무 낮게 나와요.학습이 잘 안 되고 있다는 뜻이겠죠.어디를 손 봐야 좋은 걸까요?DQN, A2C 모두 마찬가지입니다.pytorch 버전이 너무 낮아서 그런가 싶어서 높여줘도 마찬가지고요.(1.6.0 -> 1.12.1)tensorboard의 제 학습 결과 화면입니다.DQN 학습결과A2C 학습결과 

책을 먼저 사서 책 보고 따라하던 중 막혀서, 급하게 강의 등록하고 질문 드립니다.이렇게 좋은 책과 강의에 우선 감사드립니다.오류 문구는 다음과 같습니다.사용 패키지들의 버전을 다음과 같습니다.책 보고 따라 작성한 코드로 이런 현상이 있어서, github에서 다운 받은 파일로 해도 동일 증상입니다.저의 유니티 상의 설정은 다음과 같습니다. 해결에 도움 주시면 감사하겠습니다.  

안녕하세요.좋은 강의 올려주셔서 항상 감사하게 보고 있습니다.파이썬 코드로 학습 코드를 작성할때 싱글에이전트만 고려한다고 하셨는데 멀티에이전트를 위한 코드를 작성하려면 바뀌는 부분이 많이 있나요?멀티에이전트를 위해서 코드를 수정한다면 참고할 수 있는 자료가 있을까요?적용하고 싶은 알고리즘은 ppo 입니다.감사합니다!

스크립트 설명 강의에서 Start와 awake 함수의 차이점이 궁금합니다.

여기서 stacked vectors를 3으로 하면 space size도 9가 되는게 맞나요?

안녕하세요. 강의 잘 듣고 있습니다.질문이 있는데요.CollectObservations()에서 sensor에 값들을 추가하는데, sensor를 처리하는 곳에서는 추가된 값들이 어떤 값들인지는 어떻게 알고 처리가 되는 건가요?

ddpg.py 코드를 실행하면 드론이 처음에는 날아가다 몇번 날아가다 멈춰버립니다.해결방법이 무엇인가요??뭐가 문제인지 모르겠습니다.코드는 githug에 있는걸 그대로 붙여넣었습니다.

강의 너무 잘 보고 다음 강의도 너무 기대하고 있습니다.대부분 에이전트를 제어해서 잘한 행동에 점수를 줘서 학습하는 방식을 배웠는데요강화학습으로레이싱게임에 사용될 다양한 레이싱 트랙을 만는다던지.3매칭 퍼즐게임에 사용되는 다양한 퍼즐판을 만든다던지슈퍼마리오의 다양한 스테이지 구성한다던지..이런걸 할려면 어떤 알고리즘을 사용해야 되나요?만약 이미 사람이 만든 수천개의 레이싱 트랙이나 퍼즐판이 있다면 모방학습으로 가능할까요?전혀 어떻게 해야 할지 모르겠습니다.ㅜㅜ어떻게 해야 할지 가이드를 살짝 해주시면 감사하겠습니다.알고리즘 이름이라던지.. 관련자료 url 등등 부탁 드립니다. 

안녕하세요, 강의 잘 보고 있습니다.다름이 아니라, 현재 교재 개정 이전판에는 커리큘럼 러닝에 대한 부분이 함께 소개되어있었는데 현재 교재나 강의에는 이 부분이 다뤄지지 않는 것 같아 질문 드립니다. 혹시 지금은 커리큘럼 러닝이 유니티 상에서 불가능한가요? 지금도 활용할 수 있는 방법이 있는지 궁금합니다. 감사합니다!

C:\mlagents_start\ml-agents-release_17>mlagents-learn config\ppo\3DBall.yaml --run-id=tutorial_5_20_16 ▄▄▄▓▓▓▓ ╓▓▓▓▓▓▓█▓▓▓▓▓ ,▄▄▄m▀▀▀' ,▓▓▓▀▓▓▄ ▓▓▓ ▓▓▌ ▄▓▓▓▀' ▄▓▓▀ ▓▓▓ ▄▄ ▄▄ ,▄▄ ▄▄▄▄ ,▄▄ ▄▓▓▌▄ ▄▄▄ ,▄▄ ▄▓▓▓▀ ▄▓▓▀ ▐▓▓▌ ▓▓▌ ▐▓▓ ▐▓▓▓▀▀▀▓▓▌ ▓▓▓ ▀▓▓▌▀ ^▓▓▌ ╒▓▓▌ ▄▓▓▓▓▓▄▄▄▄▄▄▄▄▓▓▓ ▓▀ ▓▓▌ ▐▓▓ ▐▓▓ ▓▓▓ ▓▓▓ ▓▓▌ ▐▓▓▄ ▓▓▌ ▀▓▓▓▓▀▀▀▀▀▀▀▀▀▀▓▓▄ ▓▓ ▓▓▌ ▐▓▓ ▐▓▓ ▓▓▓ ▓▓▓ ▓▓▌ ▐▓▓▐▓▓ ^█▓▓▓ ▀▓▓▄ ▐▓▓▌ ▓▓▓▓▄▓▓▓▓ ▐▓▓ ▓▓▓ ▓▓▓ ▓▓▓▄ ▓▓▓▓` '▀▓▓▓▄ ^▓▓▓ ▓▓▓ └▀▀▀▀ ▀▀ ^▀▀ ▀▀ ▀▀ '▀▀ ▐▓▓▌ ▀▀▀▀▓▄▄▄ ▓▓▓▓▓▓, ▓▓▓▓▀ `▀█▓▓▓▓▓▓▓▓▓▌ ¬`▀▀▀█▓ Version information: ml-agents: 0.26.0, ml-agents-envs: 0.26.0, Communicator API: 1.5.0, PyTorch: 1.7.1+cu101Traceback (most recent call last): File "c:\users\owner\appdata\local\programs\python\python37\lib\runpy.py", line 193, in runmodule_as_main "__main__", mod_spec) File "c:\users\owner\appdata\local\programs\python\python37\lib\runpy.py", line 85, in runcode exec(code, run_globals) File "C:\Users\owner\AppData\Local\Programs\Python\Python37\Scripts\mlagents-learn.exe\__main__.py", line 7, in <module> File "c:\users\owner\appdata\local\programs\python\python37\lib\site-packages\mlagents\trainers\learn.py", line 250, in main run_cli(parse_command_line()) File "c:\users\owner\appdata\local\programs\python\python37\lib\site-packages\mlagents\trainers\learn.py", line 246, in run_cli run_training(run_seed, options) File "c:\users\owner\appdata\local\programs\python\python37\lib\site-packages\mlagents\trainers\learn.py", line 83, in run_training stats_writers = register_stats_writer_plugins(options) File "c:\users\owner\appdata\local\programs\python\python37\lib\site-packages\mlagents\plugins\stats_writer.py", line 47, in register_stats_writer_plugins if ML_AGENTS_STATS_WRITER not in importlib_metadata.entry_points(): File "c:\users\owner\appdata\local\programs\python\python37\lib\site-packages\importlib_metadata\__init__.py", line 266, in eq return self._key() == other._key()AttributeError: 'str' object has no attribute '_key'뭔가 실행은 되는 것 같은데 하이퍼파라미터는 안뜨고 오류만 떠요.python은 3.7.9이고, unity editor는 2021.1.18f로 했었어요. 어떻게 하면 오류를 제거하고 하이퍼파라미터들을 불러올 수 있을까요?(ml-agents-release_17 이용했어요)

unity에서 디지털 트윈환경을 구축하고 ML-Agent로 학습한 모델을실제 운영환경에 적용하여 inference하려고 할 때모델 input/output은 어떻게 구성할 수 있나요?참고할 만한 자료가 있을까요?  

안녕하세요, 수업은 다 듣고 실습부분만 조금씩 다시 따라가고 있는데요,카트레이싱에서 환경 구축을 다 하고, KartAgent 코드도 깃허브에 있는거 그대로 C# 코드 옮기고, AcadeKart 코드도 수정을 다 했는데, 이상하게 카트가 1번 웨이포인트 지나고 리셋이 됩니다. 파이토치와 유니티 책에는 OnEpisode 함수에 for문이 있는데, 넣고 빼고는 상관이 없더라구요, 웨이포인트를 이어가지 못하거나 중간에 충돌이라고 판단하거나 기타 리셋 조건이 문제인것 같은데, 어딜 봐야 할지 조언을 주실 수 있으신가요? 

Assets\ML-Agents\Examples\GridWorld\Scripts\GridAgent.cs(88,20): error CS1061: 'VectorSensor' does not contain a definition for 'addObservation' and no accessible extension method 'addObservation' accepting a first argument of type 'VectorSensor' could be found (are you missing a using directive or an assembly reference?)유니티에 다음과 같은 오류가 뜨네요.

안녕하세요, Drone 강의 부분에서, Area를 GridWorld에서 했던 것처럼 여러 Area를 복사하여 한 씬에 넣고 동시에 학습시키면 step이 빨리 오르는 효과를 볼 수 있을 것 같다고 생각했습니다. 한 area를 여러 개 복사한 뒤에 학습을 진행하려 했는데, 다음과 같은 오류로 잘 되지 않았습니다. 어떻게 해결해 볼 수 있을까요?  critic_loss = F.mse_loss(target_q, q)Traceback (most recent call last): File "DDPG.py", line 240, in <module> actor_loss, critic_loss = agent.train_model() File "DDPG.py", line 144, in train_model reward = np.stack([b[2] for b in batch], axis=0) File "<__array_function__ internals>", line 6, in stack File "C:\Users\anaconda3\envs\mlagent2\lib\site-packages\numpy\core\shape_base.py", line 426, in stack raise ValueError('all input arrays must have the same shape')ValueError: all input arrays must have the same shape