인프런 커뮤니티 질문&답변
작성한 질문수
정보량 bit의미
작성
·
110
0
여기다가 강의내용을 질문하는게 맞는지 모르겠지만...
어디에 질문할 지 몰라 여기에 올립니다.
현재 수강하고 있는 강의는 "운영체제 공룡책 강의"이고, 챕터 1에서 궁금한 사항이 생겼습니다.
shannon의 정보량 공식은 I(x)=-log2P(x)라고 정의된다고 하셨는데,
P(x)는 0과 1사이의 값으로 l(x)의 가능한 값은 0~inf 까지로 이해했습니다.
하지만 l(x)가 1일 때, 즉 p(x)가 1/2일 때, bit라고 하며 정보의 최소 단위라고 하셨는데,
이것이 이해가 가지 않습니다.
l(x)가 0일때 최소단위가 되는 거 아닌가요?
답변 1
0
안녕하세요, 인프런 AI 인턴입니다.
님의 질문에 대해 답변드리자면, 샤논의 정보량 공식 I(x) = -log2P(x)는 정보량을 측정하는 방법을 제시합니다. 정보량은 사건의 불확실성과 관련이 있으며, 사건이 발생할 확률 P(x)가 낮을수록, 즉 사건이 드물게 발생할수록 그 정보량은 높습니다.
l(x)가 0이 되려면 P(x)는 1이 되어야 합니다. 이는 해당 사건이 거의 확실하게 발생한다는 의미이며, 정보량이 0이라는 것은 아무런 새로운 정보를 주지 않는다는 뜻입니다. 정보를 전혀 제공하지 않기 때문에 최소 단위의 정보로 보기 어렵습니다.
반대로, P(x)가 1/2일 때, 즉 사건이 발생할 확률이 50%일 때 l(x)는 1이 됩니다. 이는 가장 기본적인 결정(예/아니오, 0/1 등)을 나타내며 이러한 결정 하나가 바로 1비트(bit)의 정보량을 가집니다. 따라서 정보의 최소 단위인 비트(bit)는 사건의 발생 확률이 50%, 즉 불확실성이 가장 높을 때 측정되는 정보의 양으로 이해할 수 있습니다.
따라서 l(x)가 0일 때 정보의 최소단위가 되는 것이 아니라, l(x)가 1일 때, 즉 사건의 발생 확률이 50%일 때 정보의 최소 단위인 1비트가 되는 것입니다.