EscapeRoom 환경에서 MA-POCA 쓸 때 actor는 에이전트가 개별적으로 사용하는 것으로 설계가 되어 있는데요. 유니티 상에서 에이전트들은 셋이 다 똑같이 생겨서 구분이 안되어 있는데, 매 에피소드마다 파이썬에서 부여되는 에이전트 id는 유니티 상에서 만들어둔 에이전트와 항상 같은 object로 매칭되는 것인지 궁금합니다. 코드를 응용해보려고 하는데 엑터 셋의 역할고정이 가능할지 궁금해서요! 또 한 에피소드에서 어떤 에이전트는 trap에 빠지고 어떤 에이전트는 살아남은 상태에서 에피소드가 종료될텐데.. 그럼 그 다음 에피소드에서는 그것과 관계없이 언제나 에이전트 셋 다 리셋되는 건지, trap에 빠진 에이전트만 리셋되는 건지도 궁금합니다.
안녕하세요. 강의 정말 잘 듣고 있습니다. 질문이 있어 글 남겨봅니다. 행동가치함수는 그 상태에서 행동을 통해 즉시보상을 얻는 것이고, 상태가치함수는 그 상태에서 정책을 쭉 따라가면서 가치함수를 계산한다는 제 이해가 맞을까요? 상태 가치가 제일 높은 것을 선택하는 것이 최적 정책이고, 최적 정책을 만들기 위해서는 각 상태에서 결정적 최적정책을 통해 최적행동가치함수의 값이 가장 큰 행동을 선택한다는 제 이해가 맞을까요? 좋은 하루 되시길 바랍니다.
[WinError 1114] DLL 초기화 루틴을 실행할 수 없습니다. Error loading "c:\Users\testos\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\lib\c10.dll" or one of its dependencies. 이렇게 오류가 뜨면서 설치가 되지 않습니다ㅠㅠ 프로그램은 visual studio code 사용중입니다!
Policy Network(Q)와 일반적인 Q-learning 문제에서의 behaviour policy(b)가 각자 하는 역할이 비슷한거 같은데, 만약 틀리다면 추가적인 설명을 부탁드려도 될까요? 왜냐하면, '탐험'의 성격?을 각각의 net과 policy가 수행한다고 생각했습니다. 우선 network관점에서는 특정 행동 결정 규칙에 따라 weight를 형성하는데 이때 그리디 action에 대한 value를 추정(max함수)하는 target network에 비해선 '활용'보다는 '탐험'을 하고 있다고 생각합니다 -> 행동 규칙에 따라 transition을 입력으로 받아 weight를 업데이트 하기 때문. 이로 인해 일반적인 Q-learning에서의 b도 max를 출력하는 target policy, pi대신 e-그리디 정책으로 일정 확률 e로 모든 행동을 선택할 수 있는 기믹을 활용하여 '탐험'을 하기 때문에 위와 같은 생각을 하였습니다.
6:49쯤에, MSBE = (delta_{t+1})^2의 미분 결과가 2*(delta_{t+1})* (\partial(delta_{t+1}}); 합성함수의 미분, 의 형태가 아닌 화면에 나오는 것처럼 미분이 되는지 궁금합니다. 추가로 policy improvement step에서 각 action에 대해서 value가 높은 weight로 parameters을 업데이트 하면서 자동적으로 최적pi를 찾게 된다고 보는 게 맞는 이해일까요?
Taxi가 랜덤하게 init된 손님와 목적지의 위치를 아는 이유는 observations 환경이라 그런 걸까요? 랜덤하게 목적지와 손님의 위치가 설정되더라도 과업을 어느정도 완벽히 수행하게 되는 원리는 어떤 특정 지점에 대해서 손님의 위치까지의 경로 계획을 위한 행동 가치에 대한 훈련과 그 손님의 위치에서 목적지를 향한 경로 계획에 대해서의 가치 훈련을 수행 했기 때문으로 보는 것이 맞을까요?
해당 강화학습 모델이 어떤 의미를 가지는지 궁금합니다. 그냥 자산배뷴비율 백테스트로 gridsearch식으로 비율을 다르게 해서 지표가 가장 좋은걸 찾는 방법과 강화학습을 사용한것과 어떻게 다른것인지 궁금하네요. 강화학습을 사용했기때문에 리밸런싱 시기마다 자산 등락 경향을 참고해서 다음 최적의 리밸런싱 비율을 구하는건가요?
9분 52초의 Policy Improvement table에서는 blue statement를 통과해서 가는데 optimal이라고 화살표가 나아 있는데, 14분 6초에서는 blue statement를 거치지 않고 돌아서 가는 것이 optimal이라고 화살표가 표시되어 있습니다. 그냥 theta의 값을 두고 iteration을 한 차이 인걸까요?
안녕하세요. 약 4분 경, value function 을 구할때 stochastic 하게 state가 결정된다면, 각 state가 결정될 확률값은 고려하지 않아도 되는건가요? 예를들면, class1에서 class2로 갈 확률과 facebook 으로 갈 확률이 0.5 인데, 그렇다면 각 첫번째 단계에서 reward x 확률값(0.5) 이런식으로 고려하지는 않아도 되는것인지 질문드립니다. 감사합니다.
