엔트로피의 개념
안녕하세요 !
주신 자료 너무 유익하게 잘보고 있습니다.
공부하던중 질문한가지가 있습니다.
Entropy의 개념인데요. 저는 Entorpy를 불확실성 uncertainty라고 이해하고 있었는데요.
불확실성이 높을수록 high entropy를 보인다.
예를들어 coin flip의 경우 앞뒤가 모두 0.5 probability를 가지고 있기때문에 결과에 대해서 불확실하기 때문에 high 엔트로피를 보인다라고 생각하고 있었는데요.
말씀해주신 정보량 측면에서 이해하고 답변하는게 더 좋을까요?
관점이 좀 다른듯한데요. 어떤게 맞을지 문의드립니다.
감사합니다.
답변 1
1
안녕하세요, 좋은 질문 감사합니다!
먼저 Entropy에 대해 정확히 이해하고 계신 것이 맞습니다. 다만 Entropy는 두 가지 관점(불확실성 & 정보량)으로 설명이 가능하고, 책 내에는 후자인 '정보량'에 대해서만 언급되어 있었습니다. 아래에 추가 설명드리겠습니다.
[1] 불확실성으로 설명한 Entropy
Entropy는 확률 분포의 '불확실성'을 측정하는 척도로 설명이 가능합니다. 불확실성이 높을수록 entropy가 높아집니다. 말씀하신 것 처럼 coin flip의 경우 P(앞)=P(뒤)=0.5이고, 따라서 결과를 예측하기가 어려워 불확실성이 극대화되고, 따라서 entropy도 최대가 됩니다.
[2] 정보량 관점에서 설명한 Entropy
Shannon 정보이론에서는 entropy가 평균 정보량을 나타냅니다. 여기서 정보량(self-information, information gain)은 '예상하지 못한 사건', '일어나지 않을 것 같은 사건' 일수록 커지는 값인 -\log P(x)로 정의되며, entropy는 이 정보량의 기대값으로 정의됩니다.
H(X)=\mathbb{E}[I(x)]=-\sum P(x) \log P(x)
결론적으로는 둘 다 맞는 설명이며, 오히려 말씀주신대로 불확실성 기반으로 설명하는 것이 더 이해하기 쉬웠을 것 같다는 생각입니다. 다만 저의 경우에는 -\sum P(x) \log P(x) 식의 의미를 정보이론 기반으로 풀어나가려다 보니 조금 더 어렵게 설명을 작성하게 된 것 같습니다.
실제 면접에서는 둘 중에 더 편하신 방향으로 답변 주셔도 크게 문제되지 않을 것으로 생각됩니다 :)
출력값 질문
0
12
1
슬롯 관련 문의
1
13
2
수업노트가 어디에 있나요?
0
21
1
실제 계좌 잔고 및 테스트중에
1
33
4
설치 및 설정 가이드 노션 자료는 없나요 ?
0
22
2
지원동기에 대하여
1
32
2
실기시험 제출관련
0
154
2
6.20 작업형 2 과적합
0
158
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
50
2
로지스틱회귀, 회귀
0
48
2
회귀 문제를 풀때 질문입니다.
0
56
1
불균형 처리 후 성능이 더 낮아졌다면,
0
62
2
실기 체험 제2유형 에러 문의
0
61
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
50
2
안녕하세요
1
39
3
3번문제 등분산 가정
0
48
2
작업형3 target 형 변환 질문
0
35
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
36
3
원핫인코딩과 레이블 인코딩에서 concat
0
59
2
제2유형 질문입니다.
0
46
2
C()
0
44
2
작업형 2에서 strafity 적용 유무
0
52
2
수강 기간 연장 가능 여부 문의드립니다.
0
61
1
ols
0
43
2