DQN 모델 + 에피소드 종료 후 obs 의 값이 null

이번에 유니티로 틱택토 환경을 만들어서pytorch로 DQN 모델을 만들어서 학습 할 때는 C#코드에서 RequestDecision(); 코드 호출없이 잘 되네요. 아무래도 env.step() 이 콜을 해서 환경을 업데이트 했어야 했는데 그걸 하지 않지 않았던 게 문제 였던 것 같습니다. 액션을 하고, 에피소드가 끝났을 때 환경을 업데이트를 해주지 않았고 env.get_step(behavior_name)을 콜 했을 때 obs 값이 null 이더라고요. 그 때 눈치 챘습니다. 그래서 그 문제를 c#코드에서 RequestDecsion()을 호출함으로써 env를 업데이트 한게 아니었나 싶어요. env에서 set_action()을 한다고 해서 다음 스텝으로 진행 한다고 착각을 했었고 예제 코드를 보니까 set_action을 하면 step 콜 하더라고요. 결론 : set_action을 하면 업데이트를 위해 step을 콜 해야 함

DQN 모델 + 에피소드 종료 후 obs 의 값이 null

public override void Initialize() { RequestDecision(); } 모델을 만들어서 학습하는 경우는 별도로 호출해줘야 하는 것 같습니다.