SGD + 모멘텀 등의 코드

안녕하세요 강사님 ㅎㅎ

강의 너무 잘 듣고 있습니다.

다름이 아니라.

15:40 에 많이 사용하는 것이

SGC + 스케줄링 또는 SGD + 모멘텀 + 스케줄링 이라고 말씀하셨는데요.

해당 부분을 코드로 나타내면 이렇게 되는게 맞을까요?

import torch
import torch.optim as optim 
# SGD + 스케줄링
optimizer = optim.SGD(model.parameters(), lr=0.01)  
# SGD + 스케줄링 + 모멘텀
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) 
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) 
for epoch in range(num_epochs):
...
    for inputs, targets in train_loader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        optimizer.step() 
    scheduler.step()
 

감사합니다.