엔트로피의 개념

Question

안녕하세요 ! 주신 자료 너무 유익하게 잘보고 있습니다. 공부하던중 질문한가지가 있습니다. Entropy의 개념인데요. 저는 Entorpy를 불확실성 uncertainty라고 이해하고 있었는데요. 불확실성이 높을수록 high entropy를 보인다. 예를들어 coin flip의 경우 앞뒤가 모두 0.5 probability를 가지고 있기때문에 결과에 대해서 불확실하기 때문에 high 엔트로피를 보인다라고 생각하고 있었는데요. 말씀해주신 정보량 측면에서 이해하고 답변하는게 더 좋을까요? 관점이 좀 다른듯한데요. 어떤게 맞을지 문의드립니다. 감사합니다.

codeh · Answer

안녕하세요, 좋은 질문 감사합니다! 먼저 Entropy에 대해 정확히 이해하고 계신 것이 맞습니다. 다만 Entropy는 두 가지 관점(불확실성 & 정보량)으로 설명이 가능하고, 책 내에는 후자인 '정보량'에 대해서만 언급되어 있었습니다. 아래에 추가 설명드리겠습니다. [1] 불확실성으로 설명한 Entropy Entropy는 확률 분포의 '불확실성'을 측정하는 척도로 설명이 가능합니다. 불확실성이 높을수록 entropy가 높아집니다. 말씀하신 것 처럼 coin flip의 경우 P(앞)=P(뒤)=0.5이고, 따라서 결과를 예측하기가 어려워 불확실성이 극대화되고, 따라서 entropy도 최대가 됩니다. [2] 정보량 관점에서 설명한 Entropy Shannon 정보이론에서는 entropy가 평균 정보량을 나타냅니다. 여기서 정보량(self-information, information gain)은 '예상하지 못한 사건', '일어나지 않을 것 같은 사건' 일수록 커지는 값인 -\log P(x) 로 정의되며, entropy는 이 정보량의 기대값으로 정의됩니다. H(X)=\mathbb{E}[I(x)]=-\sum P(x) \log P(x) 결론적으로는 둘 다 맞는 설명이며, 오히려 말씀주신대로 불확실성 기반으로 설명하는 것이 더 이해하기 쉬웠을 것 같다는 생각입니다. 다만 저의 경우에는 -\sum P(x) \log P(x) 식의 의미를 정보이론 기반으로 풀어나가려다 보니 조금 더 어렵게 설명을 작성하게 된 것 같습니다. 실제 면접에서는 둘 중에 더 편하신 방향으로 답변 주셔도 크게 문제되지 않을 것으로 생각됩니다 :)