W_new의 정의
81
작성한 질문수 2
안녕하세요. 감사히 잘 듣고있습니다.
W_new = W_old - LearningRate*(dLoss/dw)로 정의되고, 여기서 dLoss/dw = (y_pred - y)*x 인것까지 이해했습니다.
궁금한 점은, 엑셀에서 실습할 때 dL_dw를 개별 x들에 대해서 구한 뒤, 이를 평균한 값을 lr에 곱해서 weight를 조정해주는데 왜 평균값을 사용하는건가요?
loss가 (y-y_pred)^2한 값을 평균하기 때문인가요?
감사합니다.
답변 1
0
네 이해하신부분이 정확히 맞습니다!
초반에 SGD를 설명하기 어려워 전체데이터 기준으로 업데이트를 합니다
이 전체 데이터에 대한 평균값이 결국 미분값이 됩니다
나중에 SGD개념이 들어가면 샘플을 MINIBATCH 단위로 샘플링을하고 그 미니배치의 평균으로 업데이트를 합니다
16강 구글 colab 에서 코드 실행이 안돼요.
0
30
1
강의자료, 코드 요청드립니다
0
34
1
강의 자료에 대한 질문입니다.
1
55
2
강의의 난이도 및 속도
1
59
2
시나리오 분석 관련
0
39
1
강의자료 내 수치관련
0
41
1
민감도 분석시 사용한 제품 선정
0
39
1
스터지스 계급구간 관련
0
46
1
20번 강의 LoRA 실습이 에러가 납니다.
0
52
1
섹션5 내 목표매출액 구하는 부분
0
44
1
강의자료 문의
0
54
1
mmcv 문의 드립니다.
0
81
2
합계 이익과 평균 이익의 기준 차이
0
61
1
오렌지 실습시 주의사항
0
55
1
마소캠퍼스 강사들 강의 목록
0
108
1
PDF 가져오기 오류
1
58
1
강의 자료 및 코드 수령
0
63
2
기초실습 BERT파인튜닝 예제 오류
0
53
1
130_Transformer.ipynb 오류 대응 부탁드립니다.
0
74
1
[데이터 전처리] dropna에서 특정 두 지표만 기준으로 결측치를 제거한 이유가 궁금합니다
1
49
1
smithery filesystem mcp server
1
71
2
supabase url, key 값 확인방법
1
122
3
선택 추가 기능
0
84
1
W 업데이트
0
107
2