2.7 TD 상태가치함수

안녕하세요 정윤상님.

강의를 수강해주셔서 감사합니다.

정윤상님이 말씀하신 바와 같이 상태가치함수는 전체 환경에 대한 가치를 측정할 수 있습니다.

모든 정보를 알고 있는 상황에서는 다이내믹 프로그래밍과 같은 기법으로 상태가치함수를 계산할 수 있지만, 정보가 부족한 상황에서 사용할 수 있는 방법이 바로 MC입니다. 하나의 경로를 끝까지 가보고 반환값을 계산하고, 이 과정을 무한 반복하다보면 참상태가치함수(정확한 상태가치함수)를 구할 수 있다는 통계적인 방법론입니다.

TD는 한 스텝만 가보고 가치를 계산하는 것입니다. 이 방법 또한 MC와 마찬가지로 통계적인 방법론입니다. 한 스텝만 가서 계산하는 과정을 무한 반복하는 것입니다. 언제까지 반복해야 하나면 참상태가치함수와 TD로 구한 상태가치함수의 차이가 0이 될때까지 입니다.

충분한 답변이 됐는지 모르겠네요.

이해가 안가신다면 DQN 알고리즘까지 읽어보시고, 처음부터 다시 반복해서 보시는 것을 추천드립니다.

강화학습이 한 번에 이해할 수 있는 쉬운 내용은 아닙니다.

감사합니다.