옵티마이저랑 with
184
작성한 질문수 5
중첩 for문 안에서
optimizer.zero_grad 의미를 잘 모르겠는데 어떤건가요 ??
그리고 왜 옵티마이저를 초기화하는지 이유가 궁금해요
with torch.no_grad(): 이 부분의 기능도 모르겠어요
그리고 with함수에 대해서 구글검색해봐도 잘 모르겠는데 어떤기능을하나요 ??
좋은 강의 감사드립니다 :)
답변 1
0
안녕하세요!
1: 파이토치는 gradient 값을 누적하여 역전파를 진행합니다. 따라서 optimizer.zero_grad()을 설정하지 않으면 이 전 배치에 누적 된 값이 다음 계산에 들어오게 됩니다.
2,3: with torch.no_grad(): 는 모델의 파라메터의 requires_grad를 False로 만들어줍니다.
따라서 평가 시에는 최적화 계산(gradient)을 하지 않기 때문에 autograd 기능을 비활성(False)하여 메모리 사용량을 줄여주게 됩니다.
즉, 평가 시에 사용하시면 됩니다 :)
수업자료 제공 부탁드립니다.
0
96
2
코드가 어디에 있는지 모르겠습니다.
0
95
2
논문 구현
0
188
2
overfitting이 나는 이유가 궁금합니다.
1
171
2
분류 성능이 잘 안 나오는 이유
0
219
1
AutoEncoder 차원 질문
1
252
2
사전 학습 모델에서의 layer 변경에 대한 질문
1
222
1
7강 폴더 만들
0
261
1
4-3강 cross-validation에서의 best model 선정 기준
0
450
1
regression 문제에 대한 결과 시각화
0
215
1
Loss function 관련하여 질문드립니다.
0
958
1
early stopping 코드 문의
0
327
1
예측 그래프
0
355
1
데이터 불균형
1
365
1
8강 전이 학습 질문
0
398
2
data의 gpu처리 질문
0
242
1
nn.Linear(1024, 10) 관련 질문드립니다.
0
289
1
학습과 평가시 Loss 함수가 다른 이유
0
249
1
전처리 관련해서 질문 있습니다.
0
226
1
데이터 엔지니어의 역량을 기르려면 어떻게 해야할까요?
0
935
2
역전파 내용 중 미분 관련 질문 드립니다
1
282
1
8강 전이학습에서 kernel size 관련 질문 드립니다.
1
960
1
이미지분류-합성곱신경망(CNN) 피쳐맵 질문입니다.
1
587
1
14강 데이터 불균형 RandomRotation
1
482
1