찌그러진 동전 던지기로 정보량, 기댓값, 엔트로피 쉽게 설명 1. 찌그러진 동전 던지기 던지면 백 번 중 한 번의 확률로 뒷면이 나오는 찌그러진 동전이 있습니다. p h = 99 100 p t = 1 100 \begin{align} & p_{h} = \frac {99}{100} \\ & p_{t} = \frac {1}{100} \end{align} p h = 100 99 p t = 100 1 여기서, p h p_h p h : 앞면(head)이 나올 확률 p t p_t p t : 뒷면(tail)이 나올 확률 이 글 전체에서 위의 동전을 예로 사용하였습니다. 2. 특정 사건의 정보량(Information Content) 정보량의 정의는 다음과 같습니다. I x = − l o g 2 p x \begin{align} I_x = -log_2{p_x} \end{align} I x = − l o g 2 p x 여기서, x x x : 개별 사건(동전 앞면, 뒷면) p x p_x p x : 특정 사건 x x x 가 발생할 확률 I x I_x I x : 특정 사건 x x x 가 발생함을 알았을 때 얻게 되는 정보량 동전 던지기 결과를 알았을 때 그 정보의 가치에 대하여 다음과 같은 평가가 가능합니다. 결과가 앞면임을 알았을 때: 뒷면보다는 자주 발생하는 사건이라서 정보의 가치는 뒷면이 나왔을 때보다 작다. 결과가 뒷면임을 알았을 때: 앞면보다는 드물게 발생하는 사건이라서 정보의 가치는 앞면이 나왔을 때보다 크다. 정보량을 정보의 가치라고 해석할 수 있으며 다음과 같은 관계가 성립합니다. I h < I t \begin{align} I_{h} < I_{t} \end{align} I h < I t 여기서, I h I_h I h : 앞면이 나온 것을 알았을 때의 정보량 I t ...
글
동전 던지기와 엔트로피 특정 사건의 정보량(Information Content) 정보량은 발생 가능한 여러 가지 사건들 중에서 특정 사건 x x x 가 발생하였을 때 해당 사건을 지칭하기 위해 필요로 하는 비트 수로 정의할 수 있습니다. I ( x ) = − l o g 2 P ( x ) \begin{equation} I(x) = -log_2{P(x)} \end{equation} I ( x ) = − l o g 2 P ( x ) 여기서, x x x 는 개별 사건(값) P ( x ) P(x) P ( x ) 는 사건 x x x 가 발생할 확률 예시: 동전 던지기에서 발생할 수 있는 사건은 다음 두 가지이며 각각의 사건을 구분하여 지칭하기 위해서는 1 비트가 필요합니다. 앞면 뒷면 다음 네 가지 색깔의 공이 들어 있는 바구니에서 한 개의 공을 집을 때 그 공의 색깔을 구분하여 지칭하기 위해서는 2 비트가 필요합니다. 빨강 노랑 파랑 보라 비트 수 이외에도 다음 두 가지를 정보량의 단위로 사용하기도 합니다. 냇(nats): 자연 상수(e)를 로그의 밑으로 사용 하틀리(hartleys) 또는 딧(dits): 10을 로그의 밑으로 사용 다음은 사건 발생 확률에 따른 정보량를 그래프로 표시한 것입니다. 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값은 각 사건 x x x 의 정보량 I ( x ) I(x) I ( x ) 에 해당 사건이 발생할 확률 P ( x ) P(x) P ( x ) 을 곱한 값을 모두 더하여 계산합니다. X X X 가 이산 확률 변수라면 정보량에 대한 기댓값은 다음과 같이 정의됩니다. E [ I ( X ) ] = ∑ i P ( x i ) I ( x i ) = − ∑ i P ( x i ) l o g 2 P ( x i ) \begin{align} E[I(X)] = \sum_i{P(x_i)I(x_i)}...