동전 던지기 정보량이 1 비트보다 작을 수도 있다? 다음 두 가지 사항이 이 글을 이해하는데 도움이 될 것입니다. 미시 상태를 대상으로 계산하는 값 정보량 거시 상태를 대상으로 계산하는 값 정보량에 대한 기댓값 엔트로피 본문에서 동전의 앞면과 뒷면을 지칭할 때 아래 기호를 사용하기도 합니다. h h h : 동전 앞면(head) t t t : 동전 뒷면(tail) 미시 상태(microstate), 거시 상태(macrostate) 정의 동전 열 개를 던지는 시행에서 미시 상태와 거시 상태를 다음과 같이 정의할 수 있습니다. 미시 상태: 시행의 결과로 나타난 각 동전의 면을 지칭하는 값들의 배열 예: 0 1 0 0 1 1 1 0 1 0 (0: 뒷면, 1: 앞면) 거시 상태: 미시 상태로부터 얻을 수 있는 값 예: 5 (앞면이 나온 동전의 개수) 특정 거시 상태에 해당하는 미시 상태들의 개수는 어떤 거시 상태냐에 따라 다를 수 있습니다. 정보량, 기댓값, 엔트로피 수식 정의 아래 수식에서, x x x : 개별 사건 P ( x ) P(x) P ( x ) : 사건 x x x 가 발생할 확률 I ( x ) I(x) I ( x ) : 발생한 사건이 x x x 임을 알았을 때 얻게 되는 정보량 X X X : 확률 변수 E [ I ( X ) ] E[I(X)] E [ I ( X )] : 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값 H [ X ] H[X] H [ X ] : 정보원의 엔트로피 특정 사건의 정보량(Information Content): I ( x ) = − l o g 2 P ( x ) \begin{align} I(x) = -log_2{P(x)} \end{align} I ( x ) = − l o g 2 P ( x ) 정보량에 대한 기댓값: X X X 가 이산 확률 변수일 경우 E [ I ( X ) ] = ∑ i P ( x i ) I (...
