동전 던지기 정보량이 1 비트보다 작을 수도 있다?

다음 두 가지 사항이 이 글을 이해하는데 도움이 될 것입니다.

• 미시 상태를 대상으로 계산하는 값
  • 정보량
• 거시 상태를 대상으로 계산하는 값
  • 정보량에 대한 기댓값
  • 엔트로피

본문에서 동전의 앞면과 뒷면을 지칭할 때 아래 기호를 사용하기도 합니다.

• $h$: 동전 앞면(head)
• $t$: 동전 뒷면(tail)

미시 상태(microstate), 거시 상태(macrostate) 정의

동전 열 개를 던지는 시행에서 미시 상태와 거시 상태를 다음과 같이 정의할 수 있습니다.

• 미시 상태: 시행의 결과로 나타난 각 동전의 면을 지칭하는 값들의 배열
  • 예: 0 1 0 0 1 1 1 0 1 0 (0: 뒷면, 1: 앞면)
• 거시 상태: 미시 상태로부터 얻을 수 있는 값
  • 예: 5 (앞면이 나온 동전의 개수)

특정 거시 상태에 해당하는 미시 상태들의 개수는 어떤 거시 상태냐에 따라 다를 수 있습니다.

정보량, 기댓값, 엔트로피 수식 정의

아래 수식에서,

• $x$: 개별 사건
• $P(x)$: 사건 $x$가 발생할 확률
• $I(x)$: 발생한 사건이 $x$임을 알았을 때 얻게 되는 정보량
• $X$: 확률 변수
• $E[I(X)]$: 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값
• $H[X]$: 정보원의 엔트로피

특정 사건의 정보량(Information Content):

$$\begin{align} I(x) = -log_2{P(x)} \end{align}$$

정보량에 대한 기댓값:

$X$가 이산 확률 변수일 경우

$$\begin{align} E[I(X)] = \sum_i P(x_i) I(x_i)= - \sum_i P(x_i) log_2{P(x_i)} \end{align}$$

정보원의 엔트로피(Entropy):

$$\begin{align} H(X) = E[I(X)] \end{align}$$

예시-1. $P(h)=\frac{1}{2}$인 동전 한 개 던지기

두 번 중 한 번의 확률로 앞면이 나오는 동전을 던져서 나온 결과를 알고 있는 A가 B에게 결과 값을 전달하는 상황에서 B가 얻을 정보량과 기댓값을 계산합니다.

$$\begin{align} P(h) = \frac{1}{2} \end{align}$$

$$\begin{align} I(h) = -log_2{P(h)} = -log_2{\frac{1}{2}} = 1 \\ I(t) = -log_2{P(t)} = -log_2{\frac{1}{2}} = 1 \end{align}$$

$$\begin{align} E[I(X)] = -\frac{1}{2} \times log_2{\frac{1}{2}} -\frac{1}{2} \times log_2{\frac{1}{2}} = 1 \end{align}$$

• 동전 뒷면이 나온 사건의 정보량이 1이므로 이 사건을 다른 사건, 즉 동전 앞면이 나온 사건과 구분하여 지칭하기 위하여 1 비트가 필요할까요?
  • 1 비트를 사용하여 뒷면이면 0, 앞면이면 1로 표시하여 전달할 수 있습니다.

예시-2. $P(h)=\frac{3}{4}$인 동전 한 개 던지기

네 번 중 세 번의 확률로 앞면이 나오는 동전을 던져서 나온 결과를 알고 있는 A가 B에게 결과 값을 전달하는 상황에서 B가 얻을 정보량과 기댓값을 계산합니다.

$$\begin{align} P(h) = \frac{3}{4} \end{align}$$

$$\begin{align} & I(h) = -log_2{P(h)} = -log_2{\frac{3}{4}} \approx 0.415 \\ & I(t) = -log_2{P(t)} = -log_2{\frac{1}{4}} = 2 \end{align}$$

$$\begin{align} E[I(X)] = -\frac{3}{4} \times log_2{\frac{3}{4}} -\frac{1}{4} \times log_2{\frac{1}{4}} \approx 0.811 \end{align}$$

• 동전 앞면이 나온 사건의 정보량이 0.415이므로 이 사건을 다른 사건, 즉 동전 뒷면이 나온 사건과 구분하여 지칭하기 위하여 0.415 비트가 필요할까요?
  • 비트가 정보 전달의 최소 단위이므로 1 비트보다 작은 비트는 가능하지 않습니다. 그러므로 1 비트를 사용하여 뒷면이면 0, 앞면이면 1로 표시하여 전달할 수 있습니다.
  • 그렇다면 앞면이 나온 사건의 정보량이 0.415라는 것을 0.415 비트가 필요하다고 해석하면 안되는 것일까요?
• 동전 뒷면이 나온 사건의 정보량이 2이므로 이 사건을 다른 사건, 즉 동전 앞면이 나온 사건과 구분하여 지칭하기 위하여 2 비트가 필요할까요?
  • 2 비트를 사용하지 않고 1 비트를 사용하여 뒷면이면 0, 앞면이면 1로 표시하여 전달할 수 있습니다.
  • 그렇다면 뒷면이 나온 사건의 정보량이 2라는 것을 2 비트가 필요하다고 해석하면 안되는 것일까요?

예시-3. $P(h)=\frac{3}{4}$인 동전 열 개 던지기

이번에는 열 개의 동전을 던지고 그 결과를 A가 B에게 전달하는 상황을 상상해 봅니다.

아래 수식에서,

• $ind$: 개별 사건을 지칭
• $m$: 앞면이 나온 횟수
• $n$: 뒷면이 나온 횟수 ($10 - m$)
• $p$: 동전 앞면이 나올 확률
• $q$: 동전 뒷면이 나올 확률 ($1-p$)

개별 사건(미시 상태)를 대상으로 계산

• 앞면이 나온 횟수에 해당하는 개별 사건의 발생 확률

$$\begin{align} P_{ind}(m) &= p^m q^n \\ &= p^m (1-p)^{10 - m} \end{align}$$

• 앞면이 나온 횟수에 해당하는 개별 사건의 정보량

$$\begin{align} I_{ind}(m) &= -log_2{p^m q^n} \\ &= -log_2{p^m {(1-p)}^{10-m}} \\ &= -mlog_2{p} -(10-m)log_2{(1-p)} \\ &=-mlog_2{\frac{3}{4}} - (10-m)log_2{\frac{1}{4}}\\ &= 20-1.585\times m \end{align}$$

• 앞면이 나온 횟수에 해당하는 개별 사건이 정보량에 대한 기댓값에 기여하는 정도

$$\begin{align} P_{ind}(m)I_{ind}(m) = (p^m (1-p)^{10 - m}) \times (20 - 1.585 \times m) \end{align}$$

정보원(거시 상태)을 대상으로 계산

• 앞면이 나온 횟수에 해당하는 가능한 경우의 수

$$\begin{align} {}_{10} C_m = \frac{10!}{m!(10-m)!} \end{align}$$

• 앞면이 나온 횟수에 해당하는 사건이 발생할 확률

$$\begin{align} P(m) = {}_{10} C_m \times P_{ind}(m) = {}_{10} C_m \times p^m (1-p)^{10-m} \end{align}$$

• 앞면이 나온 횟수에 해당하는 개별 사건들이 정보량에 대한 기댓값에 기여하는 정도

$$\begin{align} {}_{10} C_m \times P_{ind}(m) \times I_{ind}(m) \end{align}$$

• 개별 사건들이 정보량에 대한 기댓값에 기여하는 정도를 모두 합한 값

$$\begin{align} E[I] = \sum_m {}_{10} C_m \times P_{ind}(m) \times I_{ind}(m) \end{align}$$

정보량에 대한 기댓값(엔트로피): 8.1128

정보량에 대한 기댓값과 데이터 압축

예를 들어 $8,000,000$ 개의 동전을 던질 때 정보량에 대한 기댓값은 다음과 같습니다.

$$\begin{align} E = 0.811 \times 8,000,000 = 6,488,000 \end{align}$$

이 데이터를 전송할 때 어느 정도의 크기가 필요한지 계산해 봅시다.

• 동전 한 개 당 1비트로 기록할 경우 데이터 크기(단위: 바이트)

$$\begin{align} \frac{8,000,000}{8} = 1,000,000 \end{align}$$

• 정보량에 대한 기댓값을 고려할 경우 데이터 크기(단위: 바이트)

$$\begin{align} \frac{6,488,000}{8} = 811,000 \end{align}$$

위 두 가지 계산 결과는 정보량을 유지하면서도 전송 데이터의 크기를 줄일 수 있음을 보여줍니다.

압축 알고리즘들이 데이터에 나타나는 규칙성을 활용하여 데이터 크기를 줄여나간다는 점을 생각해 보면 앞면이 등장할 확률이 높은 동전들을 던져서 얻는 결과에 어느 정도의 규칙성이 있어서 앞면 뒷면 나올 확률이 같은 동전의 경우보다 압축률이 높아질 것이라 예상할 수 있습니다.

<예시-2>의 두 가지 질문을 다시 살펴보겠습니다.

• 그렇다면 앞면이 나온 사건의 정보량이 0.415라는 것을 0.415 비트가 필요하다고 해석하면 안되는 것일까요?
• 그렇다면 뒷면이 나온 사건의 정보량이 2라는 것을 2 비트가 필요하다고 해석하면 안되는 것일까요?

해석의 문제니까 안된다고 말할 이유는 없습니다. 다만 동전 한 개만을 대상으로 해석하면 비트보다 작은 정보의 단위를 직관적으로 생각하는 데에는 어려움이 있습니다. 그래서 아주 많은 동전들을 대상으로 얻는 데이터를 압축해서 전송하는 상황을 가지고 이야기하면 이해가 좀 더 쉽습니다.

Written with StackEdit.