Auto Differentiation에서 computational Graph 질문있습니다

Question

안녕하세요, 좋은 강의 준비해주셔서 감사드립니다. 딥러닝에 대한 흥미가 점점 더 깊어지는 중입니다! 한가지 간략히 질문드리고 싶습니다. 노드의 정의 문제와 관련된거 같은데요.. computation graph에서의 노드는 x, w, h, y, L 전부를 의미하는 반면, Neural network에서의 노드는 x, h, y, L이라고 이해하면 될까요? 미리 감사드립니다.

변정현 · Answer

안녕하세요! 변정현입니다~ 강의가 도움이 되고 있어서 저도 보람차네요! 좋은 질문 주셔서 감사합니다! 네 맞습니다! Computational Graph에서의 노드는 입력값들과 수행되는 연산들을 의미합니다! 따라서 x, w, h, y, L 전부 Computational Graph 상에서 노드로 표현됩니다. 반면에 Neural Network에서의 노드는 Neural Network의 각 Layer을 구성하는 뉴론을 의미합니다. 그리고 각 뉴론이 출력하는 값이 x, h, y, L이고, 각 뉴론을 구성하는 parameter가 w 입니다. 그래서 엄밀히 말하면, x, h, y, L은 Neural Network의 뉴론 (노드)가 출력하는 값이고, w은 뉴런을 구성하는 parameter인 것입니다. 그래도 대략적인 측면에서 " Neural network에서의 노드는 x, h, y, L"라고 이해해도 괜찮을 것 같습니다! 감사합니다!