엔트로피의 개념
안녕하세요 !
주신 자료 너무 유익하게 잘보고 있습니다.
공부하던중 질문한가지가 있습니다.
Entropy의 개념인데요. 저는 Entorpy를 불확실성 uncertainty라고 이해하고 있었는데요.
불확실성이 높을수록 high entropy를 보인다.
예를들어 coin flip의 경우 앞뒤가 모두 0.5 probability를 가지고 있기때문에 결과에 대해서 불확실하기 때문에 high 엔트로피를 보인다라고 생각하고 있었는데요.
말씀해주신 정보량 측면에서 이해하고 답변하는게 더 좋을까요?
관점이 좀 다른듯한데요. 어떤게 맞을지 문의드립니다.
감사합니다.
답변 1
1
안녕하세요, 좋은 질문 감사합니다!
먼저 Entropy에 대해 정확히 이해하고 계신 것이 맞습니다. 다만 Entropy는 두 가지 관점(불확실성 & 정보량)으로 설명이 가능하고, 책 내에는 후자인 '정보량'에 대해서만 언급되어 있었습니다. 아래에 추가 설명드리겠습니다.
[1] 불확실성으로 설명한 Entropy
Entropy는 확률 분포의 '불확실성'을 측정하는 척도로 설명이 가능합니다. 불확실성이 높을수록 entropy가 높아집니다. 말씀하신 것 처럼 coin flip의 경우 P(앞)=P(뒤)=0.5이고, 따라서 결과를 예측하기가 어려워 불확실성이 극대화되고, 따라서 entropy도 최대가 됩니다.
[2] 정보량 관점에서 설명한 Entropy
Shannon 정보이론에서는 entropy가 평균 정보량을 나타냅니다. 여기서 정보량(self-information, information gain)은 '예상하지 못한 사건', '일어나지 않을 것 같은 사건' 일수록 커지는 값인 -\log P(x)로 정의되며, entropy는 이 정보량의 기대값으로 정의됩니다.
H(X)=\mathbb{E}[I(x)]=-\sum P(x) \log P(x)
결론적으로는 둘 다 맞는 설명이며, 오히려 말씀주신대로 불확실성 기반으로 설명하는 것이 더 이해하기 쉬웠을 것 같다는 생각입니다. 다만 저의 경우에는 -\sum P(x) \log P(x) 식의 의미를 정보이론 기반으로 풀어나가려다 보니 조금 더 어렵게 설명을 작성하게 된 것 같습니다.
실제 면접에서는 둘 중에 더 편하신 방향으로 답변 주셔도 크게 문제되지 않을 것으로 생각됩니다 :)
최빈값
0
10
1
수강 가이드라인
0
12
1
교재 문의
0
22
2
수강 연장 가능 여부 문의
0
31
2
강의 구매했는데 교재 필수일까요
0
24
2
수강기간 연장 가부 문의드립니다.
0
22
2
수강기간 연장이 가능한지 양해를 구하며 문의를 드립니다.
0
27
2
디스코드 방 입장 및 깃허브 권한 신청
1
16
2
작업형2 모의문제2에서 drop이랑 인코딩
0
34
2
노션공유 요청드립니다
0
38
1
안녕하세요 강사님
0
37
1
[시험 준비] AICE Associate 단기간 합격을 위한 모의고사 활용 방법 문의
1
45
1
인코딩을 다 꼭 해봐야하는지
0
43
2
LLM 시대에서 머신러닝 개념 이해 필요성 문의
0
41
1
스타트업에서 IT대기업으로 이직...
1
59
2
기존 미국주식 자동매매 프로그램과 같은 AWS 서버에서 돌리려고 할때
1
49
1
구글폼 입력 완료했습니다.
0
55
2
안녕하세요? 강사님 질문있습니다.(인코딩관련)
0
58
2
이진분류에서 양성 클래스가 0일 때 평가 방법
0
46
2
원핫인코딩 전 train과 test 병합여부
0
50
2
수강기간 연장
0
69
2
Spark 3.5에서 pandas의 NaN이 NULL로 바뀌지 않을 때
0
49
1
Alpha vantage 유료화?
0
89
2
29강 작업2형의 이상치 처리
0
66
2