찌그러진 동전 던지기로 정보량, 기댓값, 엔트로피 쉽게 설명

1. 찌그러진 동전 던지기

던지면 백 번 중 한 번의 확률로 뒷면이 나오는 찌그러진 동전이 있습니다.

$$\begin{align} & p_{h} = \frac {99}{100} \\ & p_{t} = \frac {1}{100} \end{align}$$

여기서,

• $p_h$: 앞면(head)이 나올 확률
• $p_t$: 뒷면(tail)이 나올 확률

이 글 전체에서 위의 동전을 예로 사용하였습니다.

2. 특정 사건의 정보량(Information Content)

정보량의 정의는 다음과 같습니다.

$$\begin{align} I_x = -log_2{p_x} \end{align}$$

여기서,

• $x$: 개별 사건(동전 앞면, 뒷면)
• $p_x$: 특정 사건 $x$가 발생할 확률
• $I_x$: 특정 사건 $x$가 발생함을 알았을 때 얻게 되는 정보량

동전 던지기 결과를 알았을 때 그 정보의 가치에 대하여 다음과 같은 평가가 가능합니다.

• 결과가 앞면임을 알았을 때:
  • 뒷면보다는 자주 발생하는 사건이라서 정보의 가치는 뒷면이 나왔을 때보다 작다.
• 결과가 뒷면임을 알았을 때:
  • 앞면보다는 드물게 발생하는 사건이라서 정보의 가치는 앞면이 나왔을 때보다 크다.

정보량을 정보의 가치라고 해석할 수 있으며 다음과 같은 관계가 성립합니다.

$$\begin{align} I_{h} < I_{t} \end{align}$$

여기서,

• $I_h$: 앞면이 나온 것을 알았을 때의 정보량
• $I_t$: 뒷면이 나온 것을 알았을 때의 정보량

3. 정보량에 대한 기댓값

동전 던지기 결과를 알게 된다면 얻게 될 정보량에 대한 기댓값은 개별 사건으로부터 얻게 될 정보량에 그 사건이 일어날 확률을 곱한 값을 모두 더하여 계산합니다.

$$\begin{align} E[I] &= p_h I_h + p_t I_t \end{align}$$

여기서,

• $E[I]$: 정보량에 대한 기댓값

동전 던지기 결과로부터 얻을 정보량에 대한 기댓값을 계산할 때 지배적인 영향을 미치는 것은 뒷면일 수도 있고 앞면일 수도 있습니다.

• 앞면의 경우 정보량은 작겠지만 사건 발생 확률이 크다.
• 뒷면의 경우 정보량은 크겠지만 사건 발생 확률이 작다.

각 사건이 정보량에 대한 기댓값에 미치는 영향이 어느 정도인지는 아래 두 값을 계산하면 알 수 있습니다.

• $p_h I_h$: 앞면의 경우
• $p_t I_t$: 뒷면의 경우

4. 정보원(Information Source)의 엔트로피(Entropy)

엔트로피에 대한 정의는 정보량에 대한 기댓값과 같습니다.

$$\begin{align} H = E[I] \end{align}$$

이 글에서 예로 든 동전을 던져서 나오는 결과 맞추기 게임을 한다면 다음과 같이 말할 수 있습니다.

• 동전 던지기 결과를 앞면이라고 예측하면 맞을 가능성이 높다.
  • 예측 불확실성이 작다.
  • 정보 부재에 대한 아쉬움이 작다.
  • 정보의 가치에 대한 기대가 작다.
  • 엔트로피가 작다.

5. 정보량, 기댓값, 엔트로피 계산 결과

$p_h = \frac{99}{100}$인 동전에 대하여 정보량, 기댓값, 엔트로피를 계산하면 아래와 같습니다.

• 특정 사건의 정보량:

$$\begin{align} I_h = -log_2{p_h} = -log_2{\frac{99}{100}} = 0.0145 \\ I_t = -log_2{p_t} = -log_2{\frac{1}{100}} = 6.6439 \end{align}$$

• 정보량에 대한 기댓값(엔트로피):

$$\begin{align} H &= E[I] \\ &= p_h I_h + p_t I_t \\ &= \frac{99}{100} \times 0.0145 + \frac{1}{100} \times 6.6439 \\ &= 0.0144 + 0.0664 \\ &= 0.0808 \end{align}$$

위 계산 결과와 비교할 수 있도록 $p_h = \frac{1}{2}$인 동전에 대하여 정보량, 기댓값, 엔트로피를 계산해 보았습니다.

• 특정 사건의 정보량:

$$\begin{align} I_h = -log_2{p_h} = -log_2{\frac{1}{2}} = 1.0 \\ I_t = -log_2{p_t} = -log_2{\frac{1}{2}} = 1.0 \end{align}$$

• 정보량에 대한 기댓값(엔트로피):

$$\begin{align} H &= E[I] \\ &= p_h I_h + p_t I_t \\ &= \frac{1}{2} \times 1.0 + \frac{1}{2} \times 1.0 \\ &=0.5 + 0.5 \\ &= 1.0 \end{align}$$

Written with StackEdit.