W_new의 정의
50
작성한 질문수 2
안녕하세요. 감사히 잘 듣고있습니다.
W_new = W_old - LearningRate*(dLoss/dw)로 정의되고, 여기서 dLoss/dw = (y_pred - y)*x 인것까지 이해했습니다.
궁금한 점은, 엑셀에서 실습할 때 dL_dw를 개별 x들에 대해서 구한 뒤, 이를 평균한 값을 lr에 곱해서 weight를 조정해주는데 왜 평균값을 사용하는건가요?
loss가 (y-y_pred)^2한 값을 평균하기 때문인가요?
감사합니다.
답변 1
0
네 이해하신부분이 정확히 맞습니다!
초반에 SGD를 설명하기 어려워 전체데이터 기준으로 업데이트를 합니다
이 전체 데이터에 대한 평균값이 결국 미분값이 됩니다
나중에 SGD개념이 들어가면 샘플을 MINIBATCH 단위로 샘플링을하고 그 미니배치의 평균으로 업데이트를 합니다
import torch가 안되는 경우는 어떻게 하나요?
0
11
1
소리가 겹쳐서 들려요
0
19
2
4-7강 음성이 안나옵니다
0
23
2
자료 다운로드 오류
0
22
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
20
1
[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?
0
28
1
수업자료
0
23
2
전 강의와 전혀 이어지지가 않음
0
29
1
pytorch local 설치 옵션에 conda 가 없습니다.
0
38
3
쿼리 오류 메세지
1
36
2
pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다
0
22
1
강의 환경설정 질문
0
39
2
모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?
0
31
2
오토인코더+ Knn, SVC 로 해석하는경우
0
45
3
그룹화
1
45
2
GPT 버전 문의
0
29
1
파일 병합 화면이 아닌 편집 화면 바로 뜨는 경우
1
52
2
강의자료에 소스코드가 없는데요
0
47
3
강화학습저장 및 로드
0
57
1
Custom Dataset에서의 polygon 정보 관련
0
83
3
paperswithcode 서비스 종료 관련 문의
0
208
2
Google Colaboratory 연결 시 접근 권한 거절 됩니다.
0
36
1
강의 자료
0
44
1
W 업데이트
0
60
2