6:49쯤에, MSBE = (delta_{t+1})^2의 미분 결과가 2*(delta_{t+1})* (\partial(delta_{t+1}}); 합성함수의 미분, 의 형태가 아닌 화면에 나오는 것처럼 미분이 되는지 궁금합니다. &nbsp;추가로 policy improvement step에서 각 action에 대해서 value가 높은 weight로 parameters을 업데이트 하면서 자동적으로 최적pi를 찾게 된다고 보는 게 맞는 이해일까요?

<img src="https://cdn.inflearn.com/public/files/posts/66d92744-6598-47f1-92ec-ca922b2f015b/af6bdf10-2dd6-480d-855d-550e7aaaadec.png" media-type="img" alt="image.png" title="image.png" width="208" height="40">를 미분하면 (연쇄법칙)<img src="https://cdn.inflearn.com/public/files/posts/dd6ae571-da7b-4c2d-b284-d5301fd403ac/f4e20832-ec56-4acc-bb7c-dbe359916903.png" media-type="img" alt="image.png" title="image.png" width="500" height="269"> 따라서,<img src="https://cdn.inflearn.com/public/files/posts/eda8c4c5-35b1-47ed-898b-5d2b909170be/cba38e60-704e-49f7-bc34-61ea3a828794.png" media-type="img" alt="image.png" title="image.png" width="236" height="62"> 입니다.두번째 질문하신 내용은 잘 이해하고 계십니다. 즉, value(Q)가 높은 action은 gradient에 큰 양수 weight를 줘서 그 action이 선택될 확률이 커지도록 하고, value가 낮으면 선택 확률을 줄이는 방향으로 학습됩니다. 좋은 질문 감사합니다.

인프런 커뮤니티 질문&답변

미분 결과가 왜 저렇게 나오는지 궁금합니다.