SGD + 모멘텀 등의 코드
안녕하세요 강사님 ㅎㅎ
강의 너무 잘 듣고 있습니다.
다름이 아니라.
15:40 에 많이 사용하는 것이
SGC + 스케줄링 또는 SGD + 모멘텀 + 스케줄링 이라고 말씀하셨는데요.
해당 부분을 코드로 나타내면 이렇게 되는게 맞을까요?
import torch
import torch.optim as optim
# SGD + 스케줄링
optimizer = optim.SGD(model.parameters(), lr=0.01)
# SGD + 스케줄링 + 모멘텀
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)
for epoch in range(num_epochs):
...
for inputs, targets in train_loader:
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()
감사합니다.
Câu trả lời 1
0
안녕하세요.
네 맞습니다!
추가적으로 말씀드리면
ADAM이랑 모멘텀+스케줄링이 지금까지 많이 쓰여져 왔는데요.
ADAM이 거의 디폴트처럼 쓰인다고 보시면 됩니다 :)
열공하세요!
모의문제3 질문
0
2
1
116. [작업형3] 9. 로지스틱 회귀 문제 질문 있습니다
0
3
1
레이블인코딩 transform 질문
0
9
1
3회 작업형2
0
10
1
문제2
0
12
2
작업형 2 결측치파트
0
16
2
모델 학습 추가 코드
0
18
1
10회 작업형3 1-2
0
18
1
분리
0
18
2
unique
0
18
2
기출7회 작업형 2 회귀 모델
0
17
2
test 데이터 결측치 관련 질의
0
15
2
전체질문) 시험대비 관련 질문
0
25
2
간단한 질문 있습니다
0
26
2
다중레이어 경사하강법에서 질문
0
335
2
XOR파트에서 입력표현 방식
1
363
2
경사하강법에서 다중레이어에서의 가중치를 구할 때 식이 이해가 가질 않습니다 ㅠ.ㅠ
1
425
1
경우에 따른 최적의 활성화 함수 선정하는 방법
0
516
2
전이학습 강의 중 질문이 있어서 남깁니다.
0
320
1
XOR 파트에서 질문 있습니다.
0
314
1
bias가 왜 필요한지 정확하게 모르겠습니다.
2
1264
1
LSTM 모형의 이해
1
666
1
RNN 가중치 w,u,l shape 질문
1
413
1
과적합 판단 방법에 대해 질문 드립니다.
0
2406
1

