W_new의 정의
68
작성한 질문수 2
안녕하세요. 감사히 잘 듣고있습니다.
W_new = W_old - LearningRate*(dLoss/dw)로 정의되고, 여기서 dLoss/dw = (y_pred - y)*x 인것까지 이해했습니다.
궁금한 점은, 엑셀에서 실습할 때 dL_dw를 개별 x들에 대해서 구한 뒤, 이를 평균한 값을 lr에 곱해서 weight를 조정해주는데 왜 평균값을 사용하는건가요?
loss가 (y-y_pred)^2한 값을 평균하기 때문인가요?
감사합니다.
답변 1
0
네 이해하신부분이 정확히 맞습니다!
초반에 SGD를 설명하기 어려워 전체데이터 기준으로 업데이트를 합니다
이 전체 데이터에 대한 평균값이 결국 미분값이 됩니다
나중에 SGD개념이 들어가면 샘플을 MINIBATCH 단위로 샘플링을하고 그 미니배치의 평균으로 업데이트를 합니다
강의 자료 및 코드 수령
0
15
2
기초실습 BERT파인튜닝 예제 오류
0
18
1
130_Transformer.ipynb 오류 대응 부탁드립니다.
0
29
1
[데이터 전처리] dropna에서 특정 두 지표만 기준으로 결측치를 제거한 이유가 궁금합니다
1
24
1
smithery filesystem mcp server
0
45
2
supabase url, key 값 확인방법
1
56
3
선택 추가 기능
0
43
1
02_TENSOR.md자료
0
39
1
프로그램은 뭘 사용하시는 건가요??
1
51
2
소스코드 오탈자 및 누락입니다.
0
61
2
소스코드 오탈자 입니다.
0
62
2
pytorch 설치 업데이트좀요
0
58
2
강의 제작
1
61
1
안녕하세요, 강의자료 요청드립니다
0
45
1
자료실 문의합니다. AIDU 툴 다운받으려고합니다.
0
43
1
비공개 동영상입니다.
0
35
0
7강 강의 학습자료에 대해서 질문있습니다.
0
36
1
안녕하세요 화면이 영상과 실제가 달라 문의드립니다
0
52
2
소스 깃허브 주소
0
39
1
타 강의 내용
1
64
2
첨부파일을 메일로 받고 싶습니다
0
44
1
이론 설명의 ppt 자료 다운
0
54
2
[긴급요청2] 28강 동영상 오류(27강 음성 재생) 수정 예정일자를 알려주세요
0
36
1
W 업데이트
0
88
2