inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Nắm vững các khái niệm học sâu để ứng dụng vào trí tuệ nhân tạo thực tiễn

Phương pháp giảm gradient ngẫu nhiên và các kỹ thuật tối ưu hóa (Stochastic Gradient Descent and Optimizers)

SGD + 모멘텀 등의 코드

Đã giải quyết

519

kundol

3 câu hỏi đã được viết

0

안녕하세요 강사님 ㅎㅎ

강의 너무 잘 듣고 있습니다.

다름이 아니라.

15:40 에 많이 사용하는 것이

SGC + 스케줄링 또는 SGD + 모멘텀 + 스케줄링 이라고 말씀하셨는데요.

해당 부분을 코드로 나타내면 이렇게 되는게 맞을까요?

import torch
import torch.optim as optim 
# SGD + 스케줄링
optimizer = optim.SGD(model.parameters(), lr=0.01)  
# SGD + 스케줄링 + 모멘텀
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) 
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) 
for epoch in range(num_epochs):
...
    for inputs, targets in train_loader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        optimizer.step() 
    scheduler.step()
 

 

감사합니다.

머신러닝 딥러닝 인공신경망

Câu trả lời 1

0

dlbro

안녕하세요.

네 맞습니다!

 

추가적으로 말씀드리면

ADAM이랑 모멘텀+스케줄링이 지금까지 많이 쓰여져 왔는데요.

ADAM이 거의 디폴트처럼 쓰인다고 보시면 됩니다 :)

 

 

열공하세요!

모의문제3 질문

0

2

1

116. [작업형3] 9. 로지스틱 회귀 문제 질문 있습니다

0

3

1

레이블인코딩 transform 질문

0

9

1

3회 작업형2

0

10

1

문제2

0

12

2

작업형 2 결측치파트

0

16

2

모델 학습 추가 코드

0

18

1

10회 작업형3 1-2

0

18

1

분리

0

18

2

unique

0

18

2

기출7회 작업형 2 회귀 모델

0

17

2

test 데이터 결측치 관련 질의

0

15

2

전체질문) 시험대비 관련 질문

0

25

2

간단한 질문 있습니다

0

26

2

다중레이어 경사하강법에서 질문

0

335

2

XOR파트에서 입력표현 방식

1

363

2

경사하강법에서 다중레이어에서의 가중치를 구할 때 식이 이해가 가질 않습니다 ㅠ.ㅠ

1

425

1

경우에 따른 최적의 활성화 함수 선정하는 방법

0

516

2

전이학습 강의 중 질문이 있어서 남깁니다.

0

320

1

XOR 파트에서 질문 있습니다.

0

314

1

bias가 왜 필요한지 정확하게 모르겠습니다.

2

1264

1

LSTM 모형의 이해

1

666

1

RNN 가중치 w,u,l shape 질문

1

413

1

과적합 판단 방법에 대해 질문 드립니다.

0

2406

1