손실함수 교차엔트로피 함수

1) 클래스의 종류개수가 예측값의 벡터의 차원개수랑 같다는것을 이해하였습니다.

-> 맞습니다! 

2) 즉 출력값의 원핫벡터의 노드개수랑 같은 거겠지요?

-> 원핫 벡터는 0과 1로 표현된 벡터입니다. 따라서 실제값이 원핫 벡터로 표현 되고 출력값은 원 핫 벡터는 아니고 원핫 벡터랑 크기가 같은 벡터가 되는 것은 맞습니다 :)

3) 마지막으로 질문드리고 싶은것은 밑에그림에서 출력층에 3개의 y가 나오는데 각각의 값이 예측값 하나의 원핫벡터의 노드를 표시하는것인지 아니면 3개의 예측값인지 헷갈립니다. 

-> 맞습니다. 예시 그림에서는 6개의 피쳐를 갖는 하나의 입력 데이터가 들어와서 크기가 3인 벡터 하나를 출력하는 것입니다. 즉, 데이터 하나당 크기가 3인 벡터 하나를 출력하는 것입니다. 따라서 입력데이터를 받을 때마다 위 그림의 연산을 시행해야 하는 것입니다. 하지만  그 것이 불편하니 실제로는 배치 형태로 묶인 입력 데이터들을 한 꺼번에 행렬 계산을 하는 것입니다!

4) 저의 생각에는 n개의 특성을 인풋에 받고 m개의 클래스를 예측하는 그림으로 보이는데 저가 이해한것이 맞나요?

3)에서 말씀 드렸듯이 맞습니다. :)

답변 감사드립니다. 

클래스의 종류개수가 예측값의 벡터의 차원개수랑 같다는것을 이해하였습니다. 즉 출력값의 원핫벡터의 노드개수랑 같은 거겠지요?

마지막으로 질문드리고 싶은것은 밑에그림에서 출력층에 3개의 y가 나오는데 각각의 값이 예측값 하나의 원핫벡터의 노드를 표시하는것인지 아니면 3개의 예측값인지 헷갈립니다. 

저의 생각에는 n개의 특성을 인풋에 받고 m개의 클래스를 예측하는 그림으로 보이는데 저가 이해한것이 맞나요?

1. 클래스가 같은 다른 데이터라고 보시면 됩니다! 문제가 개, 고양이, 호랑이를 분류하는 문제라고 하면 여러 장의 개, 고양이, 호랑이 사진들이 있겠죠? 즉, 위 계산에서 순서대로 호랑이, 고양이, 호랑이, 개의 이미지에 대한 연산을 했다고 보시면 됩니다. 

2. 다중 분류를 할 때는 클래스의 개수만큼 출력층의 노드 개수가 결정 된다고 보시면 됩니다.

다만 이진 분류에서는 노드가 2개일 필요가 없는게 노드가 하나여도 2개의 정답을 표현할 수 있는 것이고요.

3개 이상부터는 클래스의 개수만큼 출력층의 노드 개수를 정해주시면 됩니다. 예를 들어 질문1에서 캡쳐하신 부분이 클래스가 3개인 문제이고요. 출력층의 노드 개수가 3개이기 때문에 모든 답이 크기가 3인 벡터 형태로 나오는 것입니다. 

마지막으로 다중분류도 출력층의 노드 개수를 하나로 구성할 수 있는지를 물어 보셨는데요. 구조적으로 가능합니다. 나오는 출력값을 원핫 벡터가 아닌 라벨과 직접 비교를 하여 연산 되는 손실 함수를 만들면 됩니다. 다시 말해서 크로스 엔트로피 함수는 사용할 수 없겠죠. 따라서 다중분류 문제에 출력값을 하나만 나오게 하는 것은 일반적인 방식은 아닙니다.

열공하세요!