W_new의 정의
57
投稿した質問数 2
안녕하세요. 감사히 잘 듣고있습니다.
W_new = W_old - LearningRate*(dLoss/dw)로 정의되고, 여기서 dLoss/dw = (y_pred - y)*x 인것까지 이해했습니다.
궁금한 점은, 엑셀에서 실습할 때 dL_dw를 개별 x들에 대해서 구한 뒤, 이를 평균한 값을 lr에 곱해서 weight를 조정해주는데 왜 평균값을 사용하는건가요?
loss가 (y-y_pred)^2한 값을 평균하기 때문인가요?
감사합니다.
回答 1
0
네 이해하신부분이 정확히 맞습니다!
초반에 SGD를 설명하기 어려워 전체데이터 기준으로 업데이트를 합니다
이 전체 데이터에 대한 평균값이 결국 미분값이 됩니다
나중에 SGD개념이 들어가면 샘플을 MINIBATCH 단위로 샘플링을하고 그 미니배치의 평균으로 업데이트를 합니다
Excel 핵심 기출유형 1 암호
0
19
1
MMDetection 버전 이슈
0
43
2
자료에 "목표값찾기"엑셀파일이 없어요.
0
27
1
문자 수식 더불 클릭후 하단 옵션 안보임
0
42
3
[업로드오류] 강의 내용과 제목 불일치
0
38
2
섹션22 퀴즈 질문
0
44
1
import torch가 안되는 경우는 어떻게 하나요?
0
37
1
소리가 겹쳐서 들려요
0
49
2
4-7강 음성이 안나옵니다
0
39
2
자료 다운로드 오류
0
43
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
34
1
[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?
0
45
1
수업자료
0
36
2
전 강의와 전혀 이어지지가 않음
0
47
1
pytorch local 설치 옵션에 conda 가 없습니다.
0
52
3
쿼리 오류 메세지
1
47
2
pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다
0
26
1
강의 환경설정 질문
0
57
2
모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?
0
44
2
오토인코더+ Knn, SVC 로 해석하는경우
0
57
3
그룹화
1
62
2
GPT 버전 문의
0
35
1
파일 병합 화면이 아닌 편집 화면 바로 뜨는 경우
1
62
2
W 업데이트
0
69
2