찌그러진 동전 던지기로 정보량, 기댓값, 엔트로피 쉽게 설명 1. 찌그러진 동전 던지기 던지면 백 번 중 한 번의 확률로 뒷면이 나오는 찌그러진 동전이 있습니다. p h = 99 100 p t = 1 100 \begin{align} & p_{h} = \frac {99}{100} \\ & p_{t} = \frac {1}{100} \end{align} p h = 100 99 p t = 100 1 여기서, p h p_h p h : 앞면(head)이 나올 확률 p t p_t p t : 뒷면(tail)이 나올 확률 이 글 전체에서 위의 동전을 예로 사용하였습니다. 2. 특정 사건의 정보량(Information Content) 정보량의 정의는 다음과 같습니다. I x = − l o g 2 p x \begin{align} I_x = -log_2{p_x} \end{align} I x = − l o g 2 p x 여기서, x x x : 개별 사건(동전 앞면, 뒷면) p x p_x p x : 특정 사건 x x x 가 발생할 확률 I x I_x I x : 특정 사건 x x x 가 발생함을 알았을 때 얻게 되는 정보량 동전 던지기 결과를 알았을 때 그 정보의 가치에 대하여 다음과 같은 평가가 가능합니다. 결과가 앞면임을 알았을 때: 뒷면보다는 자주 발생하는 사건이라서 정보의 가치는 뒷면이 나왔을 때보다 작다. 결과가 뒷면임을 알았을 때: 앞면보다는 드물게 발생하는 사건이라서 정보의 가치는 앞면이 나왔을 때보다 크다. 정보량을 정보의 가치라고 해석할 수 있으며 다음과 같은 관계가 성립합니다. I h < I t \begin{align} I_{h} < I_{t} \end{align} I h < I t 여기서, I h I_h I h : 앞면이 나온 것을 알았을 때의 정보량 I t ...
글
정보이론에서의 엔트로피 이해 차례 정보 교환(Communication) 특정 사건의 정보량(Information Content) 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값 정보원의 엔트로피(Entropy) 개별 사건의 엔트로피 기여도 엔트로피라는 용어에 대하여 정리 부록 1. 정보 교환(Communication) A가 B에게 정보를 전달하는 상황을 상상해 봅니다. A: 정보의 송신자(정보원) B: 정보의 수신자 상황-1. 두 종류의 과일이 담겨 있는 바구니 바구니에 사과와 배가 들어 있습니다. A는 바구니에서 과일 한 개를 집고 어떤 과일인지 말한다. B는 A의 말을 듣고 그가 어떤 과일을 집었는지 안다. A는 자신이 집은 과일이 무엇인지에 따라 아래와 같이 숫자로 말합니다. 1 (사과) 2 (배) 이 정보를 비트 단위로 표현한다면 필요한 비트 수는 1입니다. log 2 ( 가능한 경우의 수 ) = log 2 2 = 1 \begin{align} & \log_2{(가능한\ 경우의\ 수)} = \log_2{2} = 1 \end{align} lo g 2 ( 가능한 경우의 수 ) = lo g 2 2 = 1 상황-2. 네 종류의 과일이 담겨 있는 바구니 바구니에 사과, 배, 감, 복숭아가 들어 있습니다. A는 바구니에서 과일 한 개를 집고 어떤 과일인지 말한다. B는 A의 말을 듣고 그가 어떤 과일을 집었는지 안다. A는 자신이 집은 과일이 무엇인지에 따라 아래와 같이 숫자로 말합니다. 1 (사과) 2 (배) 3 (감) 4 (복숭아) 이 정보를 비트 단위로 표현한다면 필요한 비트 수는 2입니다. log 2 ( 가능한 경우의 수 ) = log 2 4 = 2 \begin{align} & \log_2{(가능한\ 경우의\ 수)} = \log_2{4...