nn.CrossEntropyLoss() method 질문
592
작성한 질문수 5
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
좋은 강의 항상 감사드립니다.
nn.CrossEntropyLoss() 는 nn.LogSoftmax 와 nn.NLLLoss 연산의 조합이라고 말씀해 주셨고, cross-entropy는 아래와 같은 식인 것으로 알고 있습니다.
위 식에서 log는 한번만 취해지는 것으로 보입니다. 그런데 CrossEntropyLoss가 LogSoftmax 와 NLLLoss 연산의 조합이라면 Log 함수가 두번 사용 되는 것 같아서 이해가 잘 되지 않습니다.
설명을 해주시면 감사드리겠습니다 :-)
답변 1
0
로그 함수를 사용하는 이유는 다음과 같습니다.
계산 단순성: 우도 함수의 로그를 취하면 많은 작은 수의 곱을 일반적으로 계산 작업이 더 쉬운 로그의 합으로 변환합니다.
수치적 안정성: 확률로 작업할 때 수치적 언더플로 및 정밀도 손실로 이어질 수 있는 매우 작은 숫자를 만나는 것이 일반적입니다. 우도의 로그를 취하면 작은 수의 곱을 일반적으로 수치적으로 처리하기 더 쉬운 로그의 합으로 변환하여 이 문제를 피할 수 있습니다.
해석 가능성: 로그 우도는 우도 함수의 로그가 데이터의 엔트로피에 비례하므로 간단한 해석이 가능합니다. 즉, 로그 우도는 데이터에 포함된 정보의 양을 측정합니다. 이러한 해석은 로그 우도를 모델 선택 및 가설 테스트에 유용한 도구로 만듭니다.
요약하면 우도의 로그를 취하면 계산의 단순성, 수치적 안정성, 볼록 최적화 문제 및 데이터의 정보 내용에 대한 해석 가능한 측정이 제공됩니다. 따라서, 위의 질문에서 log 를 한 번 취했는지, 두 번 취했는지는 중요한 문제가 아닌 것이, 우리가 구하고자 하는 것은 최종 확률 분포가 어떻게 되는가 하는 것이기 때문입니다. 따라서 계산상의 안정성을 취하면서 최종 확률 분포가 바뀌는 것이 아니기 때문에 log 가 포함되던 포함되지 않던 결과에 영향을 미치지 않습니다.
좋은 질문 감사합니다.
강의 자료 및 코드 수령
0
12
2
기초실습 BERT파인튜닝 예제 오류
0
7
1
이 강의 zboz7보드에서도 실행 가능한가요?
1
24
1
130_Transformer.ipynb 오류 대응 부탁드립니다.
0
26
1
[데이터 전처리] dropna에서 특정 두 지표만 기준으로 결측치를 제거한 이유가 궁금합니다
1
23
1
smithery filesystem mcp server
0
45
2
supabase url, key 값 확인방법
1
55
3
02_TENSOR.md자료
0
39
1
프로그램은 뭘 사용하시는 건가요??
1
51
2
소스코드 오탈자 및 누락입니다.
0
61
2
소스코드 오탈자 입니다.
0
62
2
pytorch 설치 업데이트좀요
0
57
2
강의 제작
1
61
1
안녕하세요, 강의자료 요청드립니다
0
44
1
자료실 문의합니다. AIDU 툴 다운받으려고합니다.
0
43
1
mini-batch gradient descent 시 backpropagation에 대하여
0
103
2
이미지가 출력되지 않습니다
0
241
2
IMDBDataset 파일 다운로드가 안되는데 어떻게 받을 수 있을까요?
0
311
1
the kernel appears to have died. it will restart automatically.
0
686
1
파이토치 device (gpu / cpu) 관련 질문드립니다.
0
740
1
5분10초 경, 강의자료에 대하여 질문드립니다.
0
345
1
update 공식 관련 질문 (3분31초 경)
0
341
1
종속변수와 독립변수
0
601
1
linspace(100, 200, 10)
0
373
1