W_new의 정의
84
작성한 질문수 2
안녕하세요. 감사히 잘 듣고있습니다.
W_new = W_old - LearningRate*(dLoss/dw)로 정의되고, 여기서 dLoss/dw = (y_pred - y)*x 인것까지 이해했습니다.
궁금한 점은, 엑셀에서 실습할 때 dL_dw를 개별 x들에 대해서 구한 뒤, 이를 평균한 값을 lr에 곱해서 weight를 조정해주는데 왜 평균값을 사용하는건가요?
loss가 (y-y_pred)^2한 값을 평균하기 때문인가요?
감사합니다.
답변 1
0
네 이해하신부분이 정확히 맞습니다!
초반에 SGD를 설명하기 어려워 전체데이터 기준으로 업데이트를 합니다
이 전체 데이터에 대한 평균값이 결국 미분값이 됩니다
나중에 SGD개념이 들어가면 샘플을 MINIBATCH 단위로 샘플링을하고 그 미니배치의 평균으로 업데이트를 합니다
19강 감정분석 강의처럼 api 돌렸는데
1
53
1
완독 챌린지 도서 인정 방법에 대한 문의
0
66
2
강사님 강의 자료와 코드를 부탁드리고 싶습니다.
0
56
2
16강에서 코드가 계속 안도길래. ai가 고쳐서 일단 supabase에 preditc 한 주가를
1
51
1
16강 구글 colab 에서 코드 실행이 안돼요.
0
64
1
강의자료, 코드 요청드립니다
0
48
2
강의 자료에 대한 질문입니다.
1
63
2
강의의 난이도 및 속도
1
68
2
시나리오 분석 관련
0
46
1
강의자료 내 수치관련
0
47
1
민감도 분석시 사용한 제품 선정
0
44
1
스터지스 계급구간 관련
0
53
1
20번 강의 LoRA 실습이 에러가 납니다.
0
65
1
섹션5 내 목표매출액 구하는 부분
0
50
1
강의자료 문의
1
73
2
mmcv 문의 드립니다.
0
90
2
합계 이익과 평균 이익의 기준 차이
0
70
1
오렌지 실습시 주의사항
0
66
1
마소캠퍼스 강사들 강의 목록
0
117
1
PDF 가져오기 오류
1
69
1
강의 자료 및 코드 수령
0
71
2
기초실습 BERT파인튜닝 예제 오류
0
73
1
130_Transformer.ipynb 오류 대응 부탁드립니다.
0
77
1
W 업데이트
0
113
2