동전 던지기와 엔트로피

특정 사건의 정보량(Information Content)

정보량은 발생 가능한 여러 가지 사건들 중에서 특정 사건 $x$ 가 발생하였을 때 해당 사건을 지칭하기 위해 필요로 하는 비트 수로 정의할 수 있습니다.

$\begin{equation} I(x) = -log_2{P(x)} \end{equation}$

여기서,

예시:

동전 던지기에서 발생할 수 있는 사건은 다음 두 가지이며 각각의 사건을 구분하여 지칭하기 위해서는 1 비트가 필요합니다.
- 앞면
- 뒷면
다음 네 가지 색깔의 공이 들어 있는 바구니에서 한 개의 공을 집을 때 그 공의 색깔을 구분하여 지칭하기 위해서는 2 비트가 필요합니다.
- 빨강
- 노랑
- 파랑
- 보라

비트 수 이외에도 다음 두 가지를 정보량의 단위로 사용하기도 합니다.

다음은 사건 발생 확률에 따른 정보량를 그래프로 표시한 것입니다.

정보원으로부터 얻을 수 있는 정보량에 대한 기댓값은 각 사건 $x$ 의 정보량 $I(x)$ 에 해당 사건이 발생할 확률 $P(x)$ 을 곱한 값을 모두 더하여 계산합니다.

$X$ 가 이산 확률 변수라면 정보량에 대한 기댓값은 다음과 같이 정의됩니다.

$\begin{align} E[I(X)] = \sum_i{P(x_i)I(x_i)} = -\sum_i P(x_i) log_2{P(x_i)} \end{align}$

특정 사건 $x$ 의 발생 확률이 달라질 때 해당 사건이 정보량에 대한 기댓값에 기여하는 정도를 계산하여 그래프로 표시하면 다음과 같습니다.

엔트로피는 정보량에 대한 기댓값을 지칭하는 또 하나의 이름입니다.

$H(X) = E[I(X)]$

다음은 동전 앞면 발생 확률이 달라짐에 따라 정보원의 엔트로피가 어떻게 변하는지 계산하여 그래프로 표시한 것입니다.

엔트로피 계산 예시:

$\begin{align} P = \frac{1}{2}, Q = \frac{1}{2} \end{align}$

$\begin{align} H(X) = -\frac{1}{2} \times log_2{\frac{1}{2}} -\frac{1}{2} \times log_2{\frac{1}{2}} = 1 \end{align}$

$\begin{align} P = \frac{3}{4}, Q = \frac{1}{4} \end{align}$

$\begin{align} H(X) = -\frac{3}{4} \times log_2{\frac{3}{4}} -\frac{1}{4} \times log_2{\frac{1}{4}} \approx 0.811 \end{align}$

$\begin{align} P = 1, Q = 0 \end{align}$

$\begin{align} H(X) = - 1 \times log_2{1} = 0 \end{align}$

위 그래프와 예시에서 보듯이 앞면 발생 확률 $P$ 가 0.5일 때 동전 던지기 결과를 예측하는 것이 가장 어렵습니다. 여러 가지 동전들 중에서 이러한 상태의 동전이 가장 높은 엔트로피를 가진다고 말합니다.

Written with StackEdit.