DQN 모델 + 에피소드 종료 후 obs 의 값이 null

    public override void Initialize()

    {

        RequestDecision();

    }

모델을 만들어서 학습하는 경우는 별도로 호출해줘야 하는 것 같습니다.

이번에 유니티로 틱택토 환경을 만들어서

pytorch로 DQN 모델을 만들어서 학습 할 때는

C#코드에서 RequestDecision(); 코드 호출없이 잘 되네요.

아무래도 env.step() 이 콜을 해서  환경을 업데이트 했어야 했는데

그걸 하지 않지 않았던 게 문제 였던 것 같습니다.

액션을 하고, 에피소드가 끝났을 때 환경을 업데이트를 해주지 않았고

env.get_step(behavior_name)을 콜 했을 때

obs 값이 null 이더라고요. 그 때 눈치 챘습니다. 

그래서 그 문제를 c#코드에서 RequestDecsion()을 호출함으로써

env를 업데이트 한게 아니었나 싶어요.

env에서 set_action()을 한다고 해서 다음 스텝으로 진행 한다고 착각을 했었고

예제 코드를 보니까 set_action을 하면 step 콜 하더라고요.

결론 : set_action을 하면 업데이트를 위해 step을 콜 해야 함