엔트로피의 개념
안녕하세요 !
주신 자료 너무 유익하게 잘보고 있습니다.
공부하던중 질문한가지가 있습니다.
Entropy의 개념인데요. 저는 Entorpy를 불확실성 uncertainty라고 이해하고 있었는데요.
불확실성이 높을수록 high entropy를 보인다.
예를들어 coin flip의 경우 앞뒤가 모두 0.5 probability를 가지고 있기때문에 결과에 대해서 불확실하기 때문에 high 엔트로피를 보인다라고 생각하고 있었는데요.
말씀해주신 정보량 측면에서 이해하고 답변하는게 더 좋을까요?
관점이 좀 다른듯한데요. 어떤게 맞을지 문의드립니다.
감사합니다.
답변 1
1
안녕하세요, 좋은 질문 감사합니다!
먼저 Entropy에 대해 정확히 이해하고 계신 것이 맞습니다. 다만 Entropy는 두 가지 관점(불확실성 & 정보량)으로 설명이 가능하고, 책 내에는 후자인 '정보량'에 대해서만 언급되어 있었습니다. 아래에 추가 설명드리겠습니다.
[1] 불확실성으로 설명한 Entropy
Entropy는 확률 분포의 '불확실성'을 측정하는 척도로 설명이 가능합니다. 불확실성이 높을수록 entropy가 높아집니다. 말씀하신 것 처럼 coin flip의 경우 P(앞)=P(뒤)=0.5이고, 따라서 결과를 예측하기가 어려워 불확실성이 극대화되고, 따라서 entropy도 최대가 됩니다.
[2] 정보량 관점에서 설명한 Entropy
Shannon 정보이론에서는 entropy가 평균 정보량을 나타냅니다. 여기서 정보량(self-information, information gain)은 '예상하지 못한 사건', '일어나지 않을 것 같은 사건' 일수록 커지는 값인 -\log P(x)로 정의되며, entropy는 이 정보량의 기대값으로 정의됩니다.
H(X)=\mathbb{E}[I(x)]=-\sum P(x) \log P(x)
결론적으로는 둘 다 맞는 설명이며, 오히려 말씀주신대로 불확실성 기반으로 설명하는 것이 더 이해하기 쉬웠을 것 같다는 생각입니다. 다만 저의 경우에는 -\sum P(x) \log P(x) 식의 의미를 정보이론 기반으로 풀어나가려다 보니 조금 더 어렵게 설명을 작성하게 된 것 같습니다.
실제 면접에서는 둘 중에 더 편하신 방향으로 답변 주셔도 크게 문제되지 않을 것으로 생각됩니다 :)
[클라우드 설정 중 앞 내용 문의 사항]
0
11
0
선생님 강의자료를 받을수 없어요! 메일보냈어요.
0
19
2
object 컬럼이 여러 개인 경우 인코딩 전처리 방법
0
17
2
데이터 전처리 순서 관련
0
16
2
작업형2 모의문제 데이터 불러오기
0
23
2
강의 연장 부탁드립니다!
0
19
1
베개머리투자법 섹션 5를 듣고 질문드립니다.
0
22
2
강의자료, 코드 요청드립니다
0
35
1
미국 써머 타임 적용에 대해서 질문입니다.
0
28
1
음성
0
40
2
클로드 API 기간설정에 대해서
1
43
1
강의 내용 관련 문의드립니다.
0
38
1
2회 기출유형(작업형1) Warning
0
60
2
후속 강의
0
38
1
환경 셋팅관련 동영상이 어디에 업로드되어 있나요?
1
47
1
describe()
0
44
2
수강기간 연장 문의
0
71
2
강의 목차와 영상 내용 불일치
1
52
2
빅데이터분석기사 실기 인코딩
0
64
2
이력서와, 경력 기술서의 차이
1
46
2
수강기간 연장문의
0
67
2
수강 기간 연장 문의 드립니다.. 부탁드립니다 ㅠㅠ
0
55
2
작업형2와 3의 목적
0
40
1
강의 교안 템플릿 공유 문의드립니다.
1
69
3