loss.py 의 loss에 사용된 tf.nn.l2_loss 에 대해서 질문 드립니다.
446
12 asked
loss.py 중 set coord_loss 뿐 아니라 모든 loss를 구하는 부분에서 tf.nn.l2_loss를 사용하셨는데, 이건 제곱 후 2로 나눠주는 연산을 하는 연산으로 알고 있습니다.
tf.nn.l2_loss를 사용해서 2로 나누는 연산을 하신 이유에 대해서 궁금합니다.
Answer 1
1
안녕하세요. 반갑습니다~.
1/2을 곱한이유는 ^2로 제곱하는 부분이 Gradient Descent 과정에서 미분을 취하면 앞에 *2로 튀어나오기 때문에 이부분에 1/2을 곱해서 상쇄시킴으로써 수식을 더욱 깔끔하게 만들기 위함입니다.
딥러닝 구현에서 광범위하게 사용되는 패턴중에 하나로 1/2은 단지 수식 전개를 깜끔하게 만들기 위한 상수이기때문에 1/2을 곱하든 곱하지 않든 최종 결과에 큰차이를 만들어내지는 않으므로 크게 신경쓰지 않으셔도 됩니다.
더 자세한 내용은 아래 답변을 참조하세요.
https://datascience.stackexchange.com/questions/52157/why-do-we-have-to-divide-by-2-in-the-ml-squared-error-cost-function
감사합니다~.
수업자료
0
23
2
paperswithcode 서비스 종료 관련 문의
0
209
2
22강 코드 call()메서드 is_training -> model(x,False)로 호출시 밸류에러 참고
0
48
1
강의자료 질문
0
42
1
강의자료는 어떻게 보나요
0
83
2
MNS 질문
0
321
1
model.py의 Activation Function
0
532
1
코랩에서 train.py 실행 시 오류
0
721
1
object_exists_cell_i 계산식
0
448
0
데이터셋 변경에 대한 질문
0
264
0
reshape 한 후 7*7*30
0
290
1
작성한 코드의 저작권과 깃헙 업로드 가능유무에 대한 질문
0
314
1
Train시 bounding box의 개수 설정 관련
0
417
1
backbone network에 대해서 질문 있습니다.
0
290
1
one_hot과 C값에 대해서 질문 드립니다.
0
311
1
class_loss에 대해서 질문 있습니다.
0
306
1
질문있어서 글 올립니다.
0
305
1
안녕하십니까 강의 잘 보고 있습니다
0
460
5
두 가지 질문 드립니다.
0
265
1
loss function 관련 질문입니다
0
240
1
loss function 관련
0
222
1
NMS 구현 관련 질문있습니다.
0
235
1
confidence가 가장 큰 값으로 IOU 비교 이후 과정에 대해
0
359
1
confidence <= 0.6 이하의 Bounding Box 제거에서 confidence는 class probability가 곱해진 값인지요?
0
331
3