inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지

역전파(Backpropagation)

미분 계산이 이해가 안됩니다

200

Ha Eun Lee

작성한 질문수 3

0

x를 torch.ones(2, requires_grad=True) 로 계산했는데, 원래 예상한 값은
z' = x+1이므로 x.grad = tensor([2,2]) 인줄 알았는데, 아래와 같이 x =tensor([1., 1.], requires_grad=True) x.grad = tensor([4., 4.]) [4,4]가 나왔는데, 왜 이렇게 계산이 된건가요?

인공신경망 pytorch 딥러닝 머신러닝 배워볼래요? python

답변 1

0

딥러닝호형

안녕하세요!

 

혹시 노트북 파일을 여러 번 실행하셨나요? grad는 이전 값을 누적하는 성질을 가지고 있습니다. 따라서 두 번 실행하면 2가 한 번 더 누적되어 4가 나오게 됩니다. 한 번 더 하시면 6이 나올겁니다. 따라서 정상적인 계산입니다.  만약 누적 하지 않고 반복하고 싶을 경우에는 x.grad.zero_() 를 추가하여 반복 전에 grad값을 0으로 만들어 주시면 됩니다!

 

감사합니다 :)

수업자료 제공 부탁드립니다.

0

118

2

코드가 어디에 있는지 모르겠습니다.

0

117

2

논문 구현

0

209

2

overfitting이 나는 이유가 궁금합니다.

1

185

2

분류 성능이 잘 안 나오는 이유

0

227

1

AutoEncoder 차원 질문

1

260

2

사전 학습 모델에서의 layer 변경에 대한 질문

1

227

1

7강 폴더 만들

0

268

1

4-3강 cross-validation에서의 best model 선정 기준

0

463

1

regression 문제에 대한 결과 시각화

0

220

1

Loss function 관련하여 질문드립니다.

0

974

1

early stopping 코드 문의

0

334

1

예측 그래프

0

364

1

데이터 불균형

1

368

1

8강 전이 학습 질문

0

409

2

data의 gpu처리 질문

0

248

1

nn.Linear(1024, 10) 관련 질문드립니다.

0

297

1

학습과 평가시 Loss 함수가 다른 이유

0

257

1

전처리 관련해서 질문 있습니다.

0

232

1

데이터 엔지니어의 역량을 기르려면 어떻게 해야할까요?

0

950

2

역전파 내용 중 미분 관련 질문 드립니다

1

285

1

8강 전이학습에서 kernel size 관련 질문 드립니다.

1

970

1

이미지분류-합성곱신경망(CNN) 피쳐맵 질문입니다.

1

594

1

14강 데이터 불균형 RandomRotation

1

488

1