MA-POCA 알고리즘 응용 질문

안녕하세요!! EscapeRoom 코드에서는 Unity 씬에 배치된 각 Agent 오브젝트가 계속 재사용되므로, id는 같은 object에 매칭되었던 것으로 기억합니다! 단, 엑터가 역할이 고정되면 모든 에이전트가 동일 목표를 수행한다기 보다는 각각 다른 역할이 생기면서 보상 설정이나 멀티 에이전트 설정 등에서 다른 방식을 사용해야 할 것으로 생각합니다! 그리고 질문주신 2번째 내용을 설명드리자면 우선적으로 trap에 빠진 Agent는 그 즉시 전체 리셋되는 게 아니라 해당 Agent만 비활성화됩니다. 이후 episode가 끝나면 AgentList 전체가 다시 활성화되고, 위치/속도도 모두 초기화됩니다. 즉 다음 에피소드에서는 trap 여부와 관계없이 항상 세 Agent가 모두 리셋됩니다.

설치 프로그램 버전 질문있습니다.

안녕하세요!!꼭 강의 버전대로 진행하실 필요는 없지만 강의 버전이 제일 안전하긴합니다! 은근 유니티나 ML-Agents가 버전에 따라서 사소한 에러가 나는 경우들이 많더라구요! ㅜㅜㅜ 깃허브에 조금이지만 더 새 버전의 패키지들을 적어놓았으니 이 내용을 참고해주셔도 좋을 것 같습니다! https://github.com/reinforcement-learning-kr/Unity_ML_Agents_2.0

env 환경경로 입력방법

안녕하세요! 말씀주신대로 env 경로는 항상 빌드한 프로젝트 파일의 경로 (예시: exe, app 파일)를 입력해주시면 됩니다! 🙂

닷지 ckpt 모델 파일을 onnx변환 후 unity에서 추론

안녕하세요!저도 몇년 전에 시도했을 때는 onnx 변환까지는 됐는데 Unity 프로젝트에 적용했을 때 에러가 나는 문제가 있었습니다. ㅠㅠㅠ 아마 단순 변환이 아닌 듯 하여 해당 부분에 대해서는 공식 코드의 onnx 생성 코드를 참고해야 할 것 같습니다! 저도 과거에 최종적으로는 실패했던 부분이라 변환에 대해서는 지금 알려드리긴 어려울 듯 합니다! 저도 다시 한번 시도해보고 말씀드리겠습니다!

텐서플로우가 안열립니다

안녕하세요!현재 result라는 파일에서 tensorboard를 실행하신 듯 한데요!event 파일이 있는 폴더에서 한번 실행해보시면 좋을 것 같습니다!아니면 오른쪽 위에 Inactive라고 되어있는 부분을 클릭했을 때 Scalar라고 뜨는 부분이 있다면 해당 부분을 클릭해야되는 것으로 알고 있습니다!한번 확인해보시고 잘 안되는 부분 있으시면 말씀해주세요!

onnx에 대해서

안녕하세요! 코드를 직접 짠 경우에는 ckpt나 pth 같이 pytorch 모델 저장 형식으로 저장됩니다! onnx로 사용하고 싶다면 이 파일을 직접 onnx로 변환해야하는데 제가 몇년 전에 시도했을 때는 onnx 변환까지는 됐는데 Unity 프로젝트에 적용했을 때 에러가 나는 문제가 있었습니다. 아마 단순 변환이 아닌 듯 하여 해당 부분에 대해서는 공식 코드의 onnx 생성 코드를 참고해야 할 것 같습니다!

dqn 인덱스 에러

그리고 강의는 A2C 실습 부분인듯 한데 혹시 OBS가 Vector obs 일까요?

dqn 인덱스 에러

안녕하세요! 여기서 인덱스 에러가 발생하는 것 보면 골 정보가 obs에 포함되어 있지 않거나 뭔가 문제가 있어보이는데요...!혹시 유니티나 ML-Agents는 어떤 버전을 사용하고 계실까요? 버전에 따라 이런 에러가 발생할 수 있고 특히 최신 ML-Agents 버전에서 시각적 관측 사용할 때 에러가 잘 난다고 알고있어서 확인해보면 좋을 것 같습니다!

2025년 pip ml agents 설치 에러

안녕하세요!pip에 해당 버전이 없어서 나는 에러인데요! 저도 전에 파이썬 버전 때문에 이 에러가 났었던 것으로 기억합니다! 파이썬 버전 어떤거 사용하실까요? 3.10으로 한번 진행해보시겠어요?

DQN 실행 오류

안녕하세요! 학습에 들어가면서 에러가 발생하는 듯 합니다! 오류 내용을 보니 이미지 입력과 네트워크에서 해당 이미지 입력을 처리하는 차원이 달라 발생하는 문제인 듯 합니다! 유니티 환경에서 이미지 입력의 설정과 파이썬 코드상에서 state_size를 어떻게 설정하셨는지 확인해보시면 좋을 것 같습니다! 입력으로 사용되는 이미지 정보를 출력해보셔도 좋을 것 같습니다!