정보량과 엔트로피 - 축구 대진표로 설명

오늘 밤 두 개의 경기가 같은 시간에 중계됩니다.

• 경기1. 브라질(0.5) vs. 아르헨티나(0.5)
• 경기2. 브라질(0.9) vs. 태국(0.1)

괄호 안의 숫자는 각 경기에서 해당 팀이 이길 확률입니다.

위 경기와 관련하여 다음 두 가지 내용을 정보 이론으로 다루어 보고자 합니다.

• 경기가 끝났을 때 태국이 브라질을 이겼다는 결과를 알게 된다면 무척 놀랄 것입니다.
• 경기를 앞두고 브라질과 아르헨티나 중 누가 이길 것인지 예측하는 것은 무척 어렵습니다.

놀람의 정도

경기1. 브라질 vs. 아르헨티나

• 브라질이 이기는 것은 그다지 놀랍지 않다.
• 아르헨티나가 이기는 것은 그다지 놀랍지 않다.

경기2. 브라질 vs. 태국

• 브라질이 이기는 것은 조그마한 뉴스 정도이다.
• 태국이 이기면 아주 큰 뉴스가 될 것이다.

놀람의 정도를 $I$로 표기하고 크기를 비교하면 아래와 같습니다.

$$\begin{aligned} & I(경기2\ 브라질\ 승리) \\ & < I(경기1\ 브라질\ 승리) = I(경기1\ 아르헨티나\ 승리) \\ & < I(경기2\ 태국\ 승리) & \end{aligned}$$

예측 불확실성

경기1. 브라질 vs. 아르헨티나

• 누가 이길지 예상하는 것은 어렵다.

경기2. 브라질 vs. 태국

• 누가 이길지 예상하는 것은 쉽다.

예측 불확실성을 $H$로 표기하고 크기를 비교하면 아래와 같습니다.

$$\begin{aligned} & H(경기1) > H(경기2) & \end{aligned}$$

특정 사건의 정보량(Information Content)

• 놀람의 정도는 사건 발생 확률과 관련이 있습니다. 낮은 확률의 사건이 실제로 일어났을 때 더 크게 놀라는 경향이 있습니다.
• 어떤 사건의 발생 확률이 낮다는 것은 다른 여러 가지 경우들이 발생할 수도 있음을 의미합니다. 여러 가지 경우들이 발생할 수 있다면 그것들 중의 한 가지 경우가 발생했을 때 그 사건을 지칭하기 위해 필요한 비트 수는 다음 수식으로 구합니다.
  • $log_2({경우의\ 수}) = -log_2\frac{1}{(경우의\ 수)} = -log_2{(사건\ 발생\ 확률)}$
• 특정 사건이 발생하였을 때 그 사건을 지칭하기 위해 필요로 하는 비트 수를 정보량이라고 합니다.
• 정보량을 개별 사건의 결과를 알게 되었을 때 느끼는 놀람의 정도, 또는 정보의 가치로 해석할 수도 있습니다.

정보원으로부터 얻을 수 있는 정보량에 대한 기댓값

• 경기1의 결과에 대한 예측 불확실성이 높습니다. 이것은 정보 부재에 대한 아쉬움이 크다는 것을 의미합니다. 그러므로 경기 결과를 남들보다 미리 알 수 있다면 매우 유용한 정보가 될 것입니다. 달리 표현하자면 정보량에 대한 기대가 크다는 것이기도 합니다.
• 경기2의 결과에 대한 예측 불확실성이 낮습니다. 이것은 정보 부재에 대한 아쉬움이 작다는 것을 의미합니다. 그러므로 경기 결과를 남들보다 미리 알 수 있다 하더라도 그 가치는 그다지 크지 않을 가능성이 높습니다. 달리 표현하자면 정보량에 대한 기대가 작다는 것이기도 합니다.
• 정보량에 대한 기댓값은 각 사건의 정보량에 해당 사건이 일어날 확률을 곱한 값을 모두 더하여 계산합니다.
  • $E[I(X)] = \sum_i P(x_i)I(x_i) = - \sum P(x_i)log_2{P(x_i)}$

정보원의 엔트로피(Entropy)

• 정보원의 엔트로피는 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값입니다.
• 사건 발생에 대한 확률 분포가 고르고 넓게 퍼져 있을수록 예측 불확실성이 높은 것이고 이것을 엔트로피가 높다고 표현합니다.

정리

위에서 살펴 본 내용을 가지고 다음과 같이 말할 수 있습니다.

• 경기1이 경기2에 비해
  • 예측 불확실성이 크다.
  • 정보량에 대한 기대가 크다.
  • 엔트로피가 크다.

위의 세 가지 표현이 의미하는 바는 모두 같고 좀 더 설명을 덧붙이자면 아래와 같습니다.

• 예측 불확실성
  • 브라질, 아르헨티나 각 팀이 우승할 확률이 동일할 때 누가 이길지를 예측하는 것은 어렵습니다.
• 정보량에 대한 기대
  • 예측이 어려우면 그 결과로부터 얻는 정보량이 더 클 것이라고 기대합니다.
• 엔트로피
  • 정보량에 대한 기댓값과 동일합니다.

정보량과 기댓값(엔트로피) 계산

경기1. 브라질 vs. 아르헨티나

$$\begin{align} I(x=브라질) &= -log_2{P(x=브라질)} \\ &= -log_2{0.5} \\ &= 1 \end{align}$$

$$\begin{align} I(x=아르헨티나) &= -log_2{P(x=아르헨티나)} \\ &= -log_2{0.5} \\ &= 1 \end{align}$$

$$\begin{align} E[I(X)] &= P(x=브라질) \times I(x=브라질) + P(x=아르헨티나) \times I(x=아르헨티나) \\ &=0.5 \times 1 + 0.5 \times 1 \\ &= 1 \end{align}$$

경기2. 브라질 vs. 태국

$$\begin{align} & I(x=브라질) = -log_2{P(x=브라질)} = -log_2{0.9} = 0.152 \\ \end{align}$$

$$\begin{align} & I(x=태국) = -log_2{P(x=태국)} = -log_2{0.1} = 3.322 \end{align}$$

$$\begin{align} E[I(X)] &= P(x=브라질) \times I(x=브라질) + P(x=태국) \times I(x=태국) \\ &= 0.9 \times 0.152 + 0.1 \times 3.322 \\ &= 0.469 \end{align}$$

위 계산 결과를 통해 다음 사실을 확인할 수 있습니다.

• 정보량은 태국이 브라질을 이겼을 때 가장 크다.
• 정보량에 대한 기댓값은 브라질:태국 경기에서보다 브라질:아르헨티나 경기에서 더 크다.

어떤 사건이 발생했을 때 얻게 되는 정보량이 크다는 것과 사건 발생 전에 정보원으로부터 얻을 것이라고 예상하는 정보량에 대한 기댓값이 크다는 것은 별개임에 주목하시기 바랍니다.

• 발생 확률이 낮은 어떤 사건이 실제로 발생하였을 때 얻게 되는 정보량이 크다고 하더라도 낮은 발생 확률로 인해 그 사건이 정보량에 대한 기댓값에 기여하는 정도는 작습니다.

Written with StackEdit.