inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[Pytorch] 파이토치를 활용한 딥러닝 모델 구축

Neural Network 훈련 원리 - 손실함수 (Categorical-Crossentropy)

5분10초 경, 강의자료에 대하여 질문드립니다.

323

Dae Young Kang

작성한 질문수 5

0

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

안녕하세요, 선생님. (요즘 좀 질문이 많아서 죄송합니다... ㅠ)

CrossEntropy 함수에서

원핫 인코딩 때문에 y==1 일 때, -log(yhat) 이 return 되는 것은 이해가 되는데, else 문 이후로는 이해가 잘 되지 않습니다... 혹시 추가 설명을 부탁 드려도 될까요?

pytorch 인공신경망 딥러닝 anaconda cnn

답변 1

1

YoungJea Oh

강대영님,

질문하신 함수는 binary cross entropy Loss 를 직접 파이썬 함수로 구현할 경우를 예로 든 것 입니다. f(s)가 sigmoid 함수인 경우 Logistic Regression은 y가 0과 1 밖에 없으므로 동영상에서 간략히 소개한 것 처럼 구현 가능합니다. (https://vitalflux.com/cross-entropy-loss-explained-with-python-examples/ 참조 하세요.)

f(s)가 softmax 함수인 경우 아래와 같이 구현해야 합니다. (https://androidkt.com/implement-softmax-and-cross-entropy-in-python-and-pytorch/ 참조 하세요.)
def cross_entropy(y,y_pre):

  loss=-np.sum(y*np.log(y_pre))

  return loss/float(y_pre.shape[0])

 

두가지를 모두 예시로 보여드렸어야 했는데 간략히 넘어가서 혼란을 드렸네요 ^^

좋은 질문 감사드립니다.

섹션22 퀴즈 질문

0

38

1

import torch가 안되는 경우는 어떻게 하나요?

0

32

1

소리가 겹쳐서 들려요

0

35

2

[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?

0

36

1

수업자료

0

29

2

전 강의와 전혀 이어지지가 않음

0

37

1

pytorch local 설치 옵션에 conda 가 없습니다.

0

43

3

강화학습저장 및 로드

0

66

1

paperswithcode 서비스 종료 관련 문의

0

230

2

질문있습니다.

0

61

2

수업 하실 때 활용하시는 강의 자료를 제공 받을 수 있는지 문의 드립니다

0

75

2

Embedding 모델 fine tuning 관련 질문

0

72

2

코드에 오타가 있는 것 같습니다

0

56

2

코드 오타가 있는것 같습니다.

0

70

2

수업 자료도 없고 아무 것도 없는데 어떻게 시작하나요?

0

81

2

mini-batch gradient descent 시 backpropagation에 대하여

0

77

2

이미지가 출력되지 않습니다

0

212

2

IMDBDataset 파일 다운로드가 안되는데 어떻게 받을 수 있을까요?

0

294

1

the kernel appears to have died. it will restart automatically.

0

669

1

파이토치 device (gpu / cpu) 관련 질문드립니다.

0

714

1

nn.CrossEntropyLoss() method 질문

0

566

1

update 공식 관련 질문 (3분31초 경)

0

312

1

종속변수와 독립변수

0

579

1

linspace(100, 200, 10)

0

357

1