A2C 알고리즘을 드론 환경에 적용하려면
원준님 안녕하세요! 그리드 월드에서 사용한 A2C를 드론 환경에 적용해보시려고 하는 것 같은데요.현재 그리드 월드는 discrete action 환경이고 드론 환경은 continuous action 환경입니다.따라서 그리드 월드 환경에서 사용한 A2C는 discrete action 기반으로 구현돼있어, 바로 continuous action 환경인 드론에 바로 적용하기는 어려운 상황인데요. 드론에 A2C 알고리즘을 적용하기 위해서 두가지 방법이 있을 것 같습니다.첫번째 방법은 정석대로 기존에 discrete action 기반의 A2C를 continuous action 기반으로 수정하는 것이 있습니다. 이 방법을 적용하기 위해서는 Actor 네트워크에서 확률을 뽑는 것이 아니라, 평균과 표준편차를 구해 가우시안 샘플링을 해야 합니다. 이와 관련해서 학습 코드도 수정해야 하구요. (참고)두번째 방법은 코드 수정을 최소화하기 위해 드론 환경을 (-1, 0, 0), (0, -1, 0), (0, 0, -1), (1, 0, 0), (0, 1, 0), (0, 0, 1) 이렇게 6개의 discrete action 으로 구성돼있다고 간주하는 것입니다. 이 방법을 적용하기 위해서 action space를 6으로 정의하고 action 을 후처리하여 환경에 넣어주는 코드만 작성하면 될 것 같습니다.두번째 방법을 적용하기 위해 올려주신 코드에서 아래와 같이 수정해주면 될 것 같습니다. (수정이 필요한 부분만 작성하였습니다.)... ... # 파라미터 값 세팅 부분 action_size = 6 ... ... # Main 함수 부분 state = dec.obs[0] action = agent.get_action(state, train_mode) action_support = np.concatenate([-np.eye(action_size//2) , np.eye(action_size//2)], axis=0) real_action = action_support[action[0]] action_tuple = ActionTuple() action_tuple.add_continuous(real_action) env.set_actions(behavior_name, action_tuple) env.step() dec, term = env.get_steps(behavior_name) done = len(term.agent_id) > 0 reward = term.reward if done else dec.reward next_state = term.obs[0] if done else dec.obs[0] score += reward[0] if train_mode: # 학습 수행 actor_loss, critic_loss = agent.train_model(state, action[0], [reward], next_state, [done]) actor_losses.append(actor_loss) critic_losses.append(critic_loss) ... ... 추가로 궁금하신게 있다면 편하게 물어봐주세요.감사합니다 :)
