inflearn logo
강의

講義

知識共有

実践的な人工知能につながるディープラーニングの概念を身につける

勾配降下法(Gradient Descent)

다중레이어 경사하강법에서 질문

335

kokp

投稿した質問数 13

0

안녕하세요 강사님

Loss 함수가 아닌 y_hat부터 미분 하는 이유가 뭔가요?

W_11이 Loss의 결과에 미치는 영향을 알기 위해 Loss함수 부터 미분 해야 하지 않나요?? ㅠ

머신러닝 딥러닝 인공신경망

回答 2

0

dlbro

안녕하세요.

손실함수에서 y_hat이 변수에 해당되기 때문에 y_hat에 대해서 미분한 것입니다!

 

감사합니다.

 

딥러닝호형 드림

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다.

Loss 함수가 아닌 (y_{hat})부터 미분하는 이유는, 딥러닝 모델에서는 최종 출력값 (\hat{y})와 실제 값 (y) 사이의 오차를 나타내는 Loss 함수의 값을 최소화하는 것이 목표입니다. Loss 함수를 직접 미분하는 것도 중요하지만, 모델의 각 파라미터가 Loss에 미치는 영향을 이해하기 위해서는, 체인룰(Chain Rule)을 통해 각 레이어를 거스르며 역방향으로 그 영향을 추적하는 과정이 필요합니다.

이 과정에서 (y{hat})부터 미분을 시작하는 것은 역전파(Backpropagation) 과정에서 각 가중치의 기울기를 구하기 위함입니다. 즉, Loss 함수의 변화량에 대해 각 가중치 (W{11})이 어떻게 기여하는지를 파악하기 위해서는, (W_{11})부터 Loss 함수에 이르는 경로상의 모든 미분값을 곱해나가야 합니다.

결과적으로, 각 가중치 (W)의 업데이트를 위해서는 Loss함수에 대한 미분뿐만 아니라, 중간 미분값들도 모두 필요하기 때문에 (y_{hat})부터 미분하는 과정이 포함되는 것입니다. Loss를 직접 미분하는 것이 아닌, 이렇게 역방향으로 미분값을 추적해나가는 방식으로 각 매개변수의 기울기를 구하여 모델을 업데이트하는 것이죠.

간단히 말해, 모델의 출력부터 역으로 미분하는 과정은 각 파라미터가 최종 Loss에 미치는 영향력을 구체적으로 파악하기 위한 것이며, 이는 딥러닝 모델의 학습에서 중요한 역할을 합니다.

10회 작업형3 1-2

0

3

0

분리

0

4

1

unique

0

2

1

기출7회 작업형 2 회귀 모델

0

8

2

test 데이터 결측치 관련 질의

0

8

2

전체질문) 시험대비 관련 질문

0

17

2

간단한 질문 있습니다

0

19

2

로지스틱 회귀분석, 분산분석 범주형 변수 관련 외 질문

0

23

2

수업노트에서 프로그램을 따라할 경우 일부 단어만 입력해도 전문이 뜨는데요

0

14

1

[캐글] 작업형3 예상 문제 - 잔차이탈도

0

26

2

로지스틱 회귀 독립변수가 범주형일 때

0

24

2

mtcars.csv파일을 받을 수 있을까요?

0

19

1

벼락치기질문

0

41

2

수강연장 문의 드립니다

0

37

2

XOR파트에서 입력표현 방식

1

362

2

경사하강법에서 다중레이어에서의 가중치를 구할 때 식이 이해가 가질 않습니다 ㅠ.ㅠ

1

425

1

경우에 따른 최적의 활성화 함수 선정하는 방법

0

515

2

전이학습 강의 중 질문이 있어서 남깁니다.

0

320

1

XOR 파트에서 질문 있습니다.

0

314

1

SGD + 모멘텀 등의 코드

0

518

1

bias가 왜 필요한지 정확하게 모르겠습니다.

2

1262

1

LSTM 모형의 이해

1

665

1

RNN 가중치 w,u,l shape 질문

1

412

1

과적합 판단 방법에 대해 질문 드립니다.

0

2405

1