동전 던지기와 엔트로피 특정 사건의 정보량(Information Content) 정보량은 발생 가능한 여러 가지 사건들 중에서 특정 사건 x x x 가 발생하였을 때 해당 사건을 지칭하기 위해 필요로 하는 비트 수로 정의할 수 있습니다. I ( x ) = − l o g 2 P ( x ) \begin{equation} I(x) = -log_2{P(x)} \end{equation} I ( x ) = − l o g 2 P ( x ) 여기서, x x x 는 개별 사건(값) P ( x ) P(x) P ( x ) 는 사건 x x x 가 발생할 확률 예시: 동전 던지기에서 발생할 수 있는 사건은 다음 두 가지이며 각각의 사건을 구분하여 지칭하기 위해서는 1 비트가 필요합니다. 앞면 뒷면 다음 네 가지 색깔의 공이 들어 있는 바구니에서 한 개의 공을 집을 때 그 공의 색깔을 구분하여 지칭하기 위해서는 2 비트가 필요합니다. 빨강 노랑 파랑 보라 비트 수 이외에도 다음 두 가지를 정보량의 단위로 사용하기도 합니다. 냇(nats): 자연 상수(e)를 로그의 밑으로 사용 하틀리(hartleys) 또는 딧(dits): 10을 로그의 밑으로 사용 다음은 사건 발생 확률에 따른 정보량를 그래프로 표시한 것입니다. 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값은 각 사건 x x x 의 정보량 I ( x ) I(x) I ( x ) 에 해당 사건이 발생할 확률 P ( x ) P(x) P ( x ) 을 곱한 값을 모두 더하여 계산합니다. X X X 가 이산 확률 변수라면 정보량에 대한 기댓값은 다음과 같이 정의됩니다. E [ I ( X ) ] = ∑ i P ( x i ) I ( x i ) = − ∑ i P ( x i ) l o g 2 P ( x i ) \begin{align} E[I(X)] = \sum_i{P(x_i)I(x_i)}...
