엔트로피의 개념
안녕하세요 !
주신 자료 너무 유익하게 잘보고 있습니다.
공부하던중 질문한가지가 있습니다.
Entropy의 개념인데요. 저는 Entorpy를 불확실성 uncertainty라고 이해하고 있었는데요.
불확실성이 높을수록 high entropy를 보인다.
예를들어 coin flip의 경우 앞뒤가 모두 0.5 probability를 가지고 있기때문에 결과에 대해서 불확실하기 때문에 high 엔트로피를 보인다라고 생각하고 있었는데요.
말씀해주신 정보량 측면에서 이해하고 답변하는게 더 좋을까요?
관점이 좀 다른듯한데요. 어떤게 맞을지 문의드립니다.
감사합니다.
Answer 1
1
안녕하세요, 좋은 질문 감사합니다!
먼저 Entropy에 대해 정확히 이해하고 계신 것이 맞습니다. 다만 Entropy는 두 가지 관점(불확실성 & 정보량)으로 설명이 가능하고, 책 내에는 후자인 '정보량'에 대해서만 언급되어 있었습니다. 아래에 추가 설명드리겠습니다.
[1] 불확실성으로 설명한 Entropy
Entropy는 확률 분포의 '불확실성'을 측정하는 척도로 설명이 가능합니다. 불확실성이 높을수록 entropy가 높아집니다. 말씀하신 것 처럼 coin flip의 경우 P(앞)=P(뒤)=0.5이고, 따라서 결과를 예측하기가 어려워 불확실성이 극대화되고, 따라서 entropy도 최대가 됩니다.
[2] 정보량 관점에서 설명한 Entropy
Shannon 정보이론에서는 entropy가 평균 정보량을 나타냅니다. 여기서 정보량(self-information, information gain)은 '예상하지 못한 사건', '일어나지 않을 것 같은 사건' 일수록 커지는 값인 -\log P(x)로 정의되며, entropy는 이 정보량의 기대값으로 정의됩니다.
H(X)=\mathbb{E}[I(x)]=-\sum P(x) \log P(x)
결론적으로는 둘 다 맞는 설명이며, 오히려 말씀주신대로 불확실성 기반으로 설명하는 것이 더 이해하기 쉬웠을 것 같다는 생각입니다. 다만 저의 경우에는 -\sum P(x) \log P(x) 식의 의미를 정보이론 기반으로 풀어나가려다 보니 조금 더 어렵게 설명을 작성하게 된 것 같습니다.
실제 면접에서는 둘 중에 더 편하신 방향으로 답변 주셔도 크게 문제되지 않을 것으로 생각됩니다 :)
전처리 관련질문
0
4
2
작업형3 기출
0
6
1
유형2에서 데이터분할 생략 가능여부
0
7
1
9회 기출 유형3 질문
0
8
1
lgb 기초편
0
5
1
수업자료 문의
0
8
1
괄호 사용
0
9
1
작업형 2 데이터 전처리 질문
0
10
0
11회 기출 유형 작업형1 문제 3-1
0
9
0
예시문제 작업형2 (ver2023) 질문입니다
0
11
1
Data type에 따른 처리
0
7
1
Cursor 실행 문의
1
11
2
데이터 전처리 관련
0
14
2
시험에서 문제 불러오기
0
12
2
2번문제 출력값 질문
0
17
2
포트폴리오에 대한 질문이 있습니다!
1
15
2
pd.get_dummies()가 bool로 반환
0
16
2
대응표본검정 레빈
0
20
3
단일표본검정 문제 유형
0
22
2
[작업형 3] 6~7. 카이제곱 검정
0
18
2
9회 작업형3 문제 1-1
0
32
2
최종답안 계산 방식 질문
0
19
1
시험 치기 전 급하게 질문 사항
0
34
2
유형3
0
29
2