back propagation의 weight를 뒤에서부터 업데이트 하는 공식?은 없나요?

안녕하십니까,

잘 듣고 계시다니 저도 기분이 좋군요 ^^

체인룰과 Back propagation은 밀접한 관계가 있습니다. back propagation을 위해 딥러닝 식을 체인룰로 표시합니다. 체인룰로 딥러닝 식을 표시하면 출력쪽에 가장 가까운 쪽 부터 차례로 미분을 적용하면 최종적으로 입력쪽에 가장 가까운 식이 미분이 됩니다.

딥러닝 식은 매우 많은 인자로 구성되기 때문에 일반적인 식 구성이 복잡한데 여기에 미분을 적용하기는 매우 어렵습니다. 때문에 체인룰로 딥러닝 식을 구성하는 이유는 back propagation 방식으로 미분을 쉽게 적용하기 위함입니다.

체인룰 식 자체는 입력쪽 함수의 인자로 입력쪽에 가장 가까운 식부터 재귀적으로 내포하면서 만들어집니다. 하지만 체인룰로 만들어진 식을 미분할 때는 출력쪽에 가장 가까운 쪽 부터 미분을 순차적으로 수행하면 최종적으로 입력쪽에 가장 가까운 쪽을 미분하게 됩니다.

제 생각에 거의 다 이해하신것 같은데, 살짝 헷갈리신 부분도 있는것 같습니다 ^^

한번 미분의 연쇄법칙 부터 다시 한번 강의를 복기하시면 더 좋지 않을 것 같습니다.

감사합니다.