[신경망 이해] 경사하강법에서 손실 값의 변화

모델 파라미터 변경에 따른 손실의 변화율

손실 함수 위의 한 지점(현재 파라미터)에서 손실 값의 변화가 가장 큰 방향을 계산할 수 있습니다. 이를 기울기(Gradient)라고 합니다. 즉, 기울기는 '특정 파라미터를 조금 변경했을 때, 손실 값이 얼마나 변하는가’를 나타내는 값입니다.

손실을 줄이는 방향으로 모델 파라미터 수정

기울기는 손실이 가장 크게 '증가’하는 방향을 가리킵니다. 우리의 목표는 손실을 '감소’시키는 것이므로, 기울기의 반대 방향으로 파라미터를 조금씩 이동시켜야 합니다.

경사하강법의 종류와 손실 값의 변화

경사하강법은 기울기를 계산할 때 사용하는 데이터의 양에 따라 크게 세 가지 방식으로 나뉩니다. 이 방식에 따라 손실 값의 변화 양상과 학습 효율성이 크게 달라집니다.

구분	설명
Batch Gradient Descent	데이터세트 전체를 대상으로 손실을 계산하고 모델 파라미터 조정 (데이터세트의 크기: $N$)
Stochastic Gradient Descent	데이터세트에서 임의로 선택한 한 개의 데이터를 대상으로 손실을 계산하고 모델 파라미터 조정
Mini-batch Gradient Descent	데이터세트에서 임의로 선택한 $m$ 개의 데이터를 대상으로 손실을 계산하고 모델 파라미터 조정 ($1 < m < N$)

배치 경사하강법(Batch Gradient Descent)

진짜 경사도를 계산해서 파라미터를 조정하기 때문에 이 과정을 반복함에 따라 손실 값은 줄어드는 방향으로 이동합니다.

미니배치 경사하강법(Mini-batch Gradient Descent)

진짜 경사도가 아니라 근사 경사도를 계산해서 파라미터를 조정하기 때문에 이 과정을 반복하는 과정에서 손실 값은 증가와 감소를 반복하면서 어떤 값으로 수렴하는 경향을 보입니다.

확률적 경사하강법(Stochastic Gradient Descent, SGD)

미니배치 경사하강법에서 부분집합의 크기가

• $1$이면 확률적 경사하강법
• $N$이면 배치 경사하강법

이 됩니다.

더 읽을 자료

SGD가 왜 통하는지에 대한 이론적 배경이 궁금하다면 아래의 자료가 도움이 될 것입니다.

• Why is Stochastic Gradient Descent…?
• Who invented stochastic gradient descent?
  • A Stochastic Approximation Method
  • Stochastic Estimation of the Maximum of a Regression Function

Written with StackEdit.

[신경망 이해] 모델 학습 세 단계

 1. 모델 함수 정의 (Model Function Definition)

이 단계는 "가설을 세우는 단계"라고 할 수 있습니다. 데이터의 입력(X)과 출력(Y) 사이에 어떤 수학적 관계가 있을 것이라고 가정하고, 그 관계를 나타내는 함수를 정의합니다. 이 함수를 '모델' 또는 '가설(Hypothesis)'이라고 부릅니다.

• 역할: 입력 변수들을 사용해서 예측값을 어떻게 계산할지 구조를 결정합니다.
• 예시:
• 선형 회귀 (Linear Regression): 입력(x)과 출력(y) 사이에 직선 관계가 있다고 가정하고, 모델 함수를 H(x)=Wx+b 와 같이 정의합니다. 여기서 W(가중치)와 b(편향)가 우리가 찾아야 할 파라미터입니다.
• 신경망 (Neural Network): 여러 개의 뉴런과 활성화 함수를 복잡하게 연결하여 비선형 관계를 표현할 수 있는 매우 유연한 함수를 정의합니다.

2. 비용 함수 정의 (Cost Function Definition)

이 단계는 "모델의 예측이 얼마나 틀렸는지 측정하는 기준을 세우는 단계"입니다. 모델이 예측한 값(H(x))과 실제 정답(y) 사이의 차이(오차)를 계산하는 함수를 정의합니다. 이 함수를 '비용 함수(Cost Function)' 또는 '손실 함수(Loss Function)'라고 합니다.

• 역할: 모델의 성능을 정량적인 숫자로 평가합니다. 비용 함수의 값이 작을수록 모델의 예측이 더 정확하다는 의미입니다.
• 목표: 이 비용 함수의 값을 최소화하는 것이 학습의 목표가 됩니다.
• 예시:
• 평균 제곱 오차 (Mean Squared Error, MSE): 회귀 문제에서 주로 사용되며, (예측값 - 실제값)²의 평균을 계산합니다.
• 교차 엔트로피 (Cross-Entropy): 분류 문제에서 주로 사용되며, 모델의 예측 확률 분포와 실제 정답 분포의 차이를 측정합니다.

3. 모델 파라미터 찾기 (Finding Model Parameters)

이 단계는 "실제 학습(Training)이 일어나는 단계"입니다. 2단계에서 정의한 비용 함수를 최소화하는 모델 파라미터(예: W와 b)를 찾는 과정입니다. 이 과정을 '최적화(Optimization)'라고 부릅니다.

• 역할: 데이터를 가장 잘 설명하는 최적의 모델 파라미터를 찾아 모델을 완성합니다.
• 방법: 주로 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘을 사용합니다. 비용 함수를 파라미터로 미분하여 얻은 기울기(Gradient)를 이용해, 비용이 감소하는 방향으로 파라미터를 점진적으로 업데이트합니다.
• 결과: 이 과정을 거치면 주어진 데이터를 가장 잘 예측하는 모델이 만들어집니다.

[트랜스포머 이해] Attention 함수

Attention 함수 정의

3.2Attention

An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is computed as a weighted sum of the values, where the weight assigned to each value is computed by a compatibility function of the query with the corresponding key.

출처: Attention Is All You Need

Attention 함수 비유

[트랜스포머 이해] Multi-head Encoder-Decoder Attention

Attention 함수

Q, K, V 얻기

Attention Score Matrix 계산

Attention Value 계산

시냅스의 재편성, 뇌 가소성(Neuroplasticity)의 비밀

평생을 함께하는 세포들

우리 몸을 구성하는 세포의 교체 주기는 종류와 위치, 기능에 따라 매우 다양하며, 짧게는 며칠에서 길게는 수십 년에 이르기까지 그 편차가 큽니다.

반면, 우리 몸의 일부 세포들은 한번 생성되면 거의 교체되지 않습니다.

• 뇌의 신경세포(뉴런): 대뇌 피질의 신경세포 대부분은 태어날 때 가지고 있던 세포가 평생 유지됩니다. 손상되거나 사멸할 경우 재생이 거의 불가능합니다.
• 심장 근육세포: 심장 근육세포 역시 교체율이 매우 낮아 일생 동안 거의 변하지 않는 것으로 알려져 있습니다.
• 눈의 수정체 세포: 눈의 수정체를 구성하는 세포 또한 한번 만들어지면 교체되지 않습니다.

뇌 신경세포는 교체되지 않는데, 뇌는 어떻게 배우고 기억할까요?

대뇌 피질을 구성하는 대부분의 신경세포(뉴런)는 태어날 때 주어진 수가 거의 변하지 않습니다. 그렇다면 매일 새로운 것을 배우고, 경험을 통해 성장하며, 성격이 변하는 등 우리의 뇌에서 일어나는 무수한 변화는 어떻게 가능한 것일까요?

그 비밀은 개별 신경세포의 교체가 아닌, 신경세포 간의 연결망이 끊임없이 변화하고 재구성되는 현상, 즉 '뇌 가소성(Neuroplasticity)'에 있습니다. 이러한 변화는 주로 다음과 같은 세 가지 수준에서 일어납니다.

1) 시냅스 강도의 변화 (기능적 가소성)

뇌 활동의 핵심은 신경세포들이 서로 신호를 주고받는 연결 지점, 즉 시냅스(Synapse)에 있습니다. 학습과 기억은 새로운 시냅스가 폭발적으로 생겨나는 것이라기보다는, 기존 시냅스의 신호 전달 효율이 변화하는 현상에 더 가깝습니다.

• 장기 강화 (Long-Term Potentiation, LTP): 특정 시냅스가 자주, 그리고 강하게 활성화되면 해당 시냅스의 신호 전달 효율이 높아져 오랫동안 유지됩니다. 이 과정은 학습과 기억이 형성되는 핵심적인 메커니즘으로 여겨집니다.
• 장기 억제 (Long-Term Depression, LTD): 반대로, 오랫동안 사용하지 않거나 약한 자극이 반복되는 시냅스는 신호 전달 효율이 점차 약화됩니다. 이는 불필요한 기억을 지우거나 신경망을 미세 조정하여 정보 처리의 효율성을 높이는 역할을 합니다.

2) 신경세포 구조의 변화 (구조적 가소성)

뇌의 변화는 기능적인 측면에만 머무르지 않고, 물리적인 구조의 변화로까지 이어집니다.

• 수상돌기 가시(Dendritic Spine)의 재형성: 신경세포에서 다른 세포의 신호를 받아들이는 나뭇가지 같은 구조물을 수상돌기라고 하며, 그 위에는 작은 돌기들인 '가시’가 빽빽하게 나 있습니다. 이 가시 하나하나가 다른 신경세포와의 시냅스를 형성하는 부위입니다. 새로운 것을 배우거나 경험할 때, 이 수상돌기 가시의 수가 늘어나거나, 크기가 커지거나, 모양이 변하는 등 구조적인 재형성이 일어납니다. 반대로 불필요한 가시는 제거되기도 합니다.

3) ‘뇌의 조력자’ 신경교세포의 적극적인 역할

과거에는 신경세포를 지지하고 영양을 공급하는 보조적인 역할만 한다고 알려졌던 신경교세포(Glial Cell)가 최근에는 뇌 가소성에 매우 적극적으로 관여한다는 사실이 밝혀지고 있습니다.

• 별아교세포(Astrocyte): 별 모양의 이 세포는 시냅스의 형성과 유지, 제거 과정에 직접 개입합니다. 신경전달물질의 농도를 조절하고, 필요 없어진 시냅스를 청소하며, 심지어 기억 정보 저장에도 관여하는 것으로 알려져 뇌 기능의 핵심 조율자로 재조명받고 있습니다.
• 미세아교세포(Microglia): '뇌 속의 면역세포’로 불리는 이 세포들은 약하거나 비활성화된 시냅스를 식별하고 제거하는 ‘가지치기(pruning)’ 역할을 합니다. 이를 통해 신경회로를 최적화하고 뇌가 효율적으로 작동하도록 돕습니다.

결론적으로, 뇌의 성장과 활동에 따른 변화는 새로운 신경세포를 만드는 방식이 아니라, 이미 존재하는 수많은 신경세포들의 연결망을 강화하거나 약화시키고, 그 구조를 물리적으로 바꾸며, 신경교세포의 도움을 받아 전체 시스템을 최적화하는 방식으로 이루어집니다.

시냅스, 두 신경세포의 만남의 광장

시냅스는 어느 한쪽 신경세포에 속한 '부분’으로 간주하기보다는, 두 신경세포가 만나 신호를 주고받기 위해 형성하는 독립적인 ‘접합부’ 또는 '구조’로 보는 것이 가장 정확합니다.

시냅스는 크게 세 부분으로 구성됩니다.

1. 시냅스 이전 뉴런 (Presynaptic Neuron)의 축삭돌기 말단: 신호를 ‘보내는’ 쪽 신경세포의 끝부분입니다. 이곳에는 신경전달물질을 담고 있는 작은 주머니(시냅스 소포)들이 있습니다.
2. 시냅스 틈 (Synaptic Cleft): 두 신경세포 사이의 아주 미세한 간격입니다. 물리적으로 완전히 붙어있지 않고 약 20~40나노미터 정도 떨어져 있습니다.
3. 시냅스 이후 뉴런 (Postsynaptic Neuron)의 수상돌기 또는 세포체: 신호를 ‘받는’ 쪽 신경세포의 일부입니다. 표면에는 시냅스 이전 뉴런이 방출한 신경전달물질과 결합할 수 있는 수용체들이 존재합니다.

이처럼 시냅스는 신호를 보내는 세포의 일부(축삭돌기 말단)와 신호를 받는 세포의 일부(수상돌기 등), 그리고 그 사이의 공간(시냅스 틈)까지 포함하는 개념입니다.

시냅스 강도의 변화, 구체적으로 어떻게 일어날까요?

수용체 개수 조절과 물리적 구조 변경의 합작품

시냅스의 강도가 변한다는 것은 신호를 받는 시냅스 이후 뉴런(Postsynaptic Neuron)에서 일어나는 매우 구체적이고 역동적인 물리적, 화학적 변화를 의미합니다.

이 변화의 핵심에는 'AMPA 수용체(AMPA Receptor)'라는 단백질이 있습니다. AMPA 수용체는 신경전달물질(글루탐산)과 결합하여 신경세포를 흥분시키는 '문’과 같은 역할을 합니다. 시냅스의 강도는 이 '문’의 개수와 성능에 따라 결정됩니다.

이러한 기능적 변화는 물리적인 구조 변화로 이어집니다.

• 시냅스 강화: 시냅스가 위치한 수상돌기 가시(Dendritic Spine)의 머리 부분이 실제로 더 커지고, 신호 수신에 중요한 단백질들이 모여있는 시냅스후 밀도(Postsynaptic Density, PSD) 영역이 더 넓고 두꺼워집니다. 이는 더 많은 수용체를 수용하고 안정적으로 유지하기 위한 구조적 기반이 됩니다.
• 시냅스 약화: 기능이 약화됨에 따라 수상돌기 가시의 크기가 작아지거나 심지어 사라지기도 합니다.

이처럼 시냅스 강도의 변화는 단순히 신호가 세지고 약해지는 현상이 아니라, 신경세포가 능동적으로 AMPA 수용체의 수를 조절하고 시냅스 자체의 물리적 구조를 재편성하는 매우 정교하고 역동적인 리모델링 과정이라고 할 수 있습니다.

시냅스 강화 과정

학습이나 기억 활동을 통해 특정 시냅스에서 신경전달물질이 지속적이고 강력하게(높은 빈도로) 분비되면 이 신호가 바로 '스위치’가 되어, 신호를 받는 수상돌기 쪽에서 기능적, 구조적 변화를 포함한 연쇄 반응을 일으킵니다.

1. 강력/빈번한 신호 자극 (많은 신경전달물질 분비) →
2. [스위치] NMDA 수용체 활성화 및 칼슘 유입 →
3. 기능적, 구조적 변화
   • [기능 변화] AMPA 수용체 개수 증가 및 성능 향상
   • [구조 변화] 늘어난 수용체를 지지하기 위한 수상돌기 가시 머리의 비대

⇒ 결과: 시냅스 연결 강도(효율)의 장기적인 증가

정리

뇌 가소성을 가능하게 하는 요소들:

1. 시냅스 강도의 변화 (기능적 가소성)
   • 장기 강화 (Long-Term Potentiation, LTP)
   • 장기 억제 (Long-Term Depression, LTD)
2. 신경세포 구조의 변화 (구조적 가소성)
   • 수상돌기 가시 (Dendritic Spine)
3. ‘뇌의 조력자’ 신경교세포의 적극적인 역할
   • 별아교세포(Astrocyte)
   • 미세아교세포(Microglia)

참고 자료

1. Early and Late Long-Term Potentiation, Jim Hutchins; Lindsey Aune; and Rachel Jessop

Written with StackEdit.

[트랜스포머 이해] Multi-head Self-Attention

Attention 함수

Q, K, V 얻기

Attention Score Matrix 계산

Attention Value 계산

회귀(Regression)라는 용어를 쉽게 설명하는 방법

조별 단체 식사 준비 상황을 예로 들어 회귀라는 용어에 대해 설명합니다. 그리고 회귀라는 용어가 어렵게 느껴지는 이유는 무엇이며 어떻게 하면 쉽게 받아들여질 수 있는지도 살펴봅니다.

조별 단체 식사 준비와 회귀 현상 발생

100명 정도의 인원이 매주 일요일 함께 모여 점심 식사를 합니다. 조를 짜서 식사를 준비하는 상황에서 일어나는 현상을 통해 회귀라는 용어가 무엇을 의미하는지 설명합니다.

1. 10개 조가 조별로 두 주 연속으로 일요일 단체 점심 식사를 준비한다.
2. 한 끼 점심 식사 준비를 위해 지원받는 비용은 15만원이다. 이보다 덜 쓰면 반납하고 더 쓰면 조에서 부담한다.
3. 오늘 점심 식사를 준비한 조에 대한 칭찬이 자자하다. 최근 들어 식사에 대한 만족도가 높아지고 있다는 생각이 든다.
4. 내가 속한 조에서는 몇 주 후에 담당할 식사 준비를 두고 약간의 걱정 섞인 농담이 오고간다.
   • “우리는 컵라면을 고려하고 있었는데 이러면 컵라면을 내놓기는 어렵겠는데요.”
   • “이 시점에서 컵라면으로 식사 기대치를 좀 낮추는 것도 필요하지 않을까요?”
   • “여러 종류의 컵라면을 준비하고 밥과 김치를 함께 제공하면 나름대로 괜찮을 겁니다.”

위의 사례에서처럼 식사 품질이 무한히 상승하거나 하강하는 것을 억제하는 작용들이 일어나서 결국 어떤 지점을 중심으로 들쭉날쭉하는 모습을 보일 것이며 이에 대해 다음과 같이 말할 수 있습니다.

• 식사 품질이 어떤 지점으로 돌아가는 현상을 가리켜 회귀라고 한다.
• 회귀가 지속적으로 일어나면 경향성을 가지고 있는 것으로 간주한다.
• 회귀 지점이 어디인지를 찾는 것을 회귀 문제를 푼다라고 말한다.

회귀라는 용어가 어렵게 느껴지는 이유

'회귀’의 사전적 의미는 '돌아간다’입니다. 그런데 '회귀 문제’라고 부르는 특정 유형의 문제를 좀 더 세부적으로 설명하는 아래의 내용을 보면 여러 변수들 간의 상관 관계를 다루는 문제라고 말할 수 있습니다.

대표적인 회귀 문제 유형으로 다음 두 가지를 들 수 있습니다.

1. 선형 회귀 (X 값이 주어졌을 때 Y 값의 예측)
   • 예시 1: 한국인 20대 남성의 키가 주어졌을 때 몸무게 예측
   • 예시 2: 한국인 50대 여성의 몸무게와 러닝머신 속도가 주어졌을 때 심박수 예측
2. 로지스틱 회귀 (X 값이 주어졌을 때 어떤 범주에 속하는지 예측)
   • 예시 1: 대출 신청자의 신용 점수, 연 소득, 부채 비율, 직업, 대출 금액이 주어졌을 때 대출 승인 여부 예측
   • 예시 2: 생산 공정 중의 센서 데이터(온도, 압력 등), 사용된 원자재 정보, 생산 라인, 작업 시간이 주어졌을 때 제품 품질 불량 여부 예측

결국 독자는 자신이 알고 있는 사전적 의미인 '돌아간다’를 토대로 통계에서 왜 그러한 용어를 쓰는지 이해해 보려고 노력하지만 명확하게 이해하는데 어려움을 겪게 됩니다. 이로부터 통계에서 만나는 회귀라는 용어가 어렵게 느껴질 수밖에 없는 이유를 유추할 수 있습니다.

• 회귀라는 용어는 어떤 요인이 작용하여 특정 분포가 나타나는 과정의 특성을 지칭함
• 회귀 분석은 어떤 요인이 작용하여 돌아가는 현상이 나타난 결과, 즉 특정 분포의 특성을 분석하는 데 초점을 맞추고 있음

따라서 용어 이해의 어려움은 문제 유형 정의를 위해 사용한 용어와 문제를 풀 때 사용하는 용어가 담고 있는 의미들 간의 간극에서 온다고 말할 수 있습니다.

회귀라는 용어를 쉽게 설명하는 방법

하지만 아래와 같은 설명으로 시작하면 '회귀’라는 용어가 어렵거나 낯설게 느껴지지 않을 것입니다.

어떤 값들이 특정 값을 중심으로 모여 있는 분포를 보인다면 그러한 결과가 나타나게 하는 요인이 있을 것입니다. 위에서 예로 든 단체 식사 준비와 관련해서는 다음 두 가지 요인이 작용한다고 볼 수 있습니다.

1. 식사 준비 비용과 구성원의 노고에 따르는 부담은 식사 품질이 무한히 상승하는 것을 억제할 것입니다.
2. 식사 만족도가 떨어지면 듣게 될 비난에 대한 걱정이 식사 품질이 떨어지는 것에 대한 억제 요인이 될 것입니다.

이러한 요인에 의하여 어떤 값으로 돌아가는 현상이 일어나는 것이고 돌아가는 과정을 '회귀’라고 부릅니다.

그렇다면 "한국인 20대 남성의 키가 주어졌을 때 몸무게 예측"에 대해서는 회귀를 어떻게 설명할 수 있을까요?

한국인 20대 남성의 키가 160cm인 경우 몸무게의 평균이 65kg이라고 가정합시다.

1. 더 많이 먹거나 운동을 적게 하면 체중이 증가할 것입니다. 그러면 계단을 오를 때 호흡이 힘들어지고 몸매에 대한 주변의 시선에도 더 신경을 쓰게 되어서 체중 감량에 대한 압박을 받게 됩니다.
2. 너무 적게 먹거나 운동을 많이 하면 체중이 감소할 것입니다. 영양 부족이나 불균형으로 인하여 건강이 나빠질 수도 있고 이 경우 역시 몸매에 대한 주변의 시선에 영향을 받아서 체중 증가를 위한 다양한 시도에 나설 가능성이 높아집니다.

생물학적, 또는 심리적 요인들이 작용하여 체중을 특정 값으로 돌아가게 하는 과정을 일으키며 그 결과로 특정 값을 중심으로 하는 분포가 나타납니다.

정리

'상관 관계 분석’이 '회귀 분석’이라는 용어를 완벽하게 대체할 수 있을까요? 또는 더 적합한 용어가 될 수 있을까요?

질문에 답하기 위하여 각각의 용어가 가지고 있는 의미를 최대한 살려서 아래와 같이 표현해 보았습니다.

• 회귀 현상: 어딘가로 돌아가는 특성을 보이는 현상
• 회귀 문제: 회귀 현상과 관련된 문제들을 지칭
  • 현상의 원인과 결과 간의 관계에 초점을 맞추면 인과 관계 분석 문제
  • 현상이 일어나는 과정에 초점을 맞추면 역학 문제
  • 현상의 결과인 특정 분포에서 변수들 간의 상관 관계에 초점을 맞추면 상관 관계 분석 문제

결론적으로,

• ’회귀 분석’ 대 ‘상관 관계 분석’:
  • 하나의 문제 유형을 지칭하는 두 가지 용어로 쓰이고 있음
  • 해당 문제의 특성, 그리고 각각의 용어 자체의 의미를 고려하면 '상관 관계 분석’이라고 부르는 것이 더 적합
  • '회귀 분석’이라고 부르면 넓은 범위에 해당하는 용어를 사용하여 좁은 범위의 문제를 지칭할 때 발생하는 인지 부조화 상태 초래

Written with StackEdit.

학습과 기억 활동에 따른 시냅스 강화 과정

학습이나 기억 활동을 통해 특정 시냅스에서 신경전달물질이 지속적이고 강력하게(높은 빈도로) 분비되면 이 신호가 바로 '스위치'가 되어, 신호를 받는 수상돌기 쪽에서 기능적, 구조적 변화를 포함한 연쇄 반응을 일으킵니다.

1. AMPA 수용체는 왜, 어떻게 증가하는가? (기능적 강화)

AMPA 수용체의 증가는 늘어난 신경전달물질을 더 효과적으로 받아내기 위한 수상돌기 쪽의 '능동적인 대응'입니다.

• 1단계 (스위치 작동): 강력하고 빈번한 신호(글루탐산 분비)가 도착하면, 시냅스 막에 있는 NMDA 수용체라는 특수 장치가 활성화되어 다량의 칼슘(Ca2+)을 세포 안으로 받아들입니다. 이 칼슘이 바로 리모델링 프로그램을 작동시키는 '시작 신호'입니다.
• 2단계 (AMPA 수용체 동원): 유입된 칼슘은 세포 내 신호 전달 체계를 통해 "이 시냅스는 매우 중요하니 수신 감도를 높여라!"라는 명령을 내립니다. 이 명령에 따라 수상돌기 내부에 보관되어 있던 여분의 AMPA 수용체들이 활성화된 시냅스의 표면으로 이동하여 배치됩니다.
• 3단계 (효율 증대): 이제 같은 양의 신경전달물질이 와도 더 많은 AMPA 수용체가 동시에 반응하므로, 수상돌기는 훨씬 더 강력한 신호를 생성할 수 있습니다.

2. 수상돌기는 왜, 어떻게 두꺼워지는가? (구조적 강화)

수상돌기가 두꺼워진다는 것은, 더 정확히 말해 '수상돌기 가시(Dendritic Spine)의 머리 부분이 커지는 것'을 의미합니다. 수상돌기 전체가 굵어지는 것이 아니라, 신호가 오가는 특정 시냅스가 위치한 '가시'의 구조가 변하는 것입니다.

• 1단계 (기능 강화에 따른 요구): 늘어난 AMPA 수용체를 안정적으로 배치하고, 효율적인 신호 처리를 위해서는 더 넓고 튼튼한 공간이 필요합니다. 기능적 강화(AMPA 수용체 증가)가 구조적 강화를 유도하는 셈입니다.
• 2단계 (세포 골격의 재구성): AMPA 수용체 증가를 유발했던 칼슘 신호는 동시에 세포의 뼈대를 이루는 세포 골격(Cytoskeleton) 단백질(예: 액틴)을 재구성하라는 명령도 내립니다.
• 3단계 (물리적 확장): 이 명령에 따라 단백질들이 움직여 수상돌기 가시의 내부를 채우고 확장시킵니다. 그 결과 가시의 머리(Spine Head)가 물리적으로 더 커지고, 시냅스후 밀도(PSD)라는 지지 구조물도 더 튼튼해집니다.
• 4단계 (안정성 확보): 이렇게 커지고 튼튼해진 구조는 늘어난 AMPA 수용체들이 제자리에 안정적으로 머물도록 붙잡아두는 역할을 합니다.

요약

1. 강력/빈번한 신호 자극 (많은 신경전달물질 분비) →
2. [스위치] NMDA 수용체 활성화 및 칼슘 유입 →
3. 기능적, 구조적 변화

• [기능 변화] AMPA 수용체 개수 증가 및 성능 향상
• [구조 변화] 늘어난 수용체를 지지하기 위한 수상돌기 가시 머리의 비대

⇒ 결과: 시냅스 연결 강도(효율)의 장기적인 증가

잠들기 전의 나와 잠에서 깬 나는 이어지는 나인가?

이 글에서,

• 개체-A: 잠들기 전의 나
• 개체-B: 잠에서 깬 나 (개체-A의 일부 세포 변화)

의식 이전(transfer)

t2 시점에 개체-A의 의식을 완벽하게 이전하여 개체-B의 의식 생성

시점	개체-A	개체-B	비고
t1	나(1)	존재 X
t2	존재 X	나(3)	의식 복제와 동시에 개체-A 소멸
t3	존재 X	나(5)

의식 인지

각 개체가 느끼는 의식의 연속성 (기억)

시점	개체-A	개체-B	비고
t1	나(1)	나(1)
t2	존재 X	나(3)	의식 복제와 동시에 개체-A 소멸
t3	존재 X	나(5)

• 개체-A: 나(1)
• 개체-B: 나(1) -> 나(3) -> 나(5)

개체 간 의식의 독립성

• t3 시점에 나(5)만 존재하고 자신을 고유 개체로 인지

결론

• 의식 이전이 완료된 이후의 개체-B는 나(1)에서부터 이어지는 고유한 나이다.

Written with StackEdit.

이전(transfer)된 나의 의식은 나인가?

의식 이전(transfer)

t2 시점에 개체-A의 의식을 완벽하게 이전하여 개체-B의 의식 생성

시점	개체-A	개체-B	비고
t1	나(1)	존재 X
t2	존재 X	나(3)	의식 복제와 동시에 개체-A 소멸
t3	존재 X	나(5)

의식 인지

각 개체가 느끼는 의식의 연속성 (기억)

시점	개체-A	개체-B	비고
t1	나(1)	나(1)
t2	존재 X	나(3)	의식 복제와 동시에 개체-A 소멸
t3	존재 X	나(5)

• 개체-A: 나(1)
• 개체-B: 나(1) -> 나(3) -> 나(5)

개체 간 의식의 독립성

• t3 시점에 나(5)만 존재하고 자신을 고유 개체로 인지

결론

• 의식 이전이 완료된 이후의 개체-B는 나(1)에서부터 이어지는 고유한 나이다.

Written with StackEdit.

복제(duplicate)된 나의 의식은 나인가?

의식 복제(duplicate)

t2 시점에 개체-A의 의식을 완벽하게 복제하여 개체-B의 의식 생성

시점	개체-A	개체-B	비고
t1	나(1)	존재 X
t2	나(2)	나(3)	의식 복제
t3	나(4)	나(5)

의식 인지

각 개체가 느끼는 의식의 연속성 (기억)

시점	개체-A	개체-B	비고
t1	나(1)	나(1)
t2	나(2)	나(3)	의식 복제
t3	나(4)	나(5)

• 개체-A: 나(1) -> 나(2) -> 나(4)
• 개체-B: 나(1) -> 나(3) -> 나(5)

개체 간 의식의 독립성

• t3 시점의 나(4)와 나(5)는 상대를 타인으로 인식

t3 시점에 개체-A, 개체-B가 상호 정보 교환을 통해 t1 시점의 의식이 사실상 서로 동일함을 알게 되더라도 각자가 느끼는 의식의 연속성, 독립성은 그대로 유지됨

결론

• 의식 복제가 완료된 이후의 개체-A, 개체-B는 각자 나(1)에서부터 이어지는 고유한 나이다. 그렇지만 두 개체는 상대를 타인으로 인식한다.

Written with StackEdit.

동전 던지기 정보량이 1 비트보다 작을 수도 있다?

다음 두 가지 사항이 이 글을 이해하는데 도움이 될 것입니다.

• 미시 상태를 대상으로 계산하는 값
  • 정보량
• 거시 상태를 대상으로 계산하는 값
  • 정보량에 대한 기댓값
  • 엔트로피

본문에서 동전의 앞면과 뒷면을 지칭할 때 아래 기호를 사용하기도 합니다.

• $h$: 동전 앞면(head)
• $t$: 동전 뒷면(tail)

미시 상태(microstate), 거시 상태(macrostate) 정의

동전 열 개를 던지는 시행에서 미시 상태와 거시 상태를 다음과 같이 정의할 수 있습니다.

• 미시 상태: 시행의 결과로 나타난 각 동전의 면을 지칭하는 값들의 배열
  • 예: 0 1 0 0 1 1 1 0 1 0 (0: 뒷면, 1: 앞면)
• 거시 상태: 미시 상태로부터 얻을 수 있는 값
  • 예: 5 (앞면이 나온 동전의 개수)

특정 거시 상태에 해당하는 미시 상태들의 개수는 어떤 거시 상태냐에 따라 다를 수 있습니다.

정보량, 기댓값, 엔트로피 수식 정의

아래 수식에서,

• $x$: 개별 사건
• $P(x)$: 사건 $x$가 발생할 확률
• $I(x)$: 발생한 사건이 $x$임을 알았을 때 얻게 되는 정보량
• $X$: 확률 변수
• $E[I(X)]$: 정보원으로부터 얻을 수 있는 정보량에 대한 기댓값
• $H[X]$: 정보원의 엔트로피

특정 사건의 정보량(Information Content):

$$\begin{align} I(x) = -log_2{P(x)} \end{align}$$

정보량에 대한 기댓값:

$X$가 이산 확률 변수일 경우

$$\begin{align} E[I(X)] = \sum_i P(x_i) I(x_i)= - \sum_i P(x_i) log_2{P(x_i)} \end{align}$$

정보원의 엔트로피(Entropy):

$$\begin{align} H(X) = E[I(X)] \end{align}$$

예시-1. $P(h)=\frac{1}{2}$인 동전 한 개 던지기

두 번 중 한 번의 확률로 앞면이 나오는 동전을 던져서 나온 결과를 알고 있는 A가 B에게 결과 값을 전달하는 상황에서 B가 얻을 정보량과 기댓값을 계산합니다.

$$\begin{align} P(h) = \frac{1}{2} \end{align}$$

$$\begin{align} I(h) = -log_2{P(h)} = -log_2{\frac{1}{2}} = 1 \\ I(t) = -log_2{P(t)} = -log_2{\frac{1}{2}} = 1 \end{align}$$

$$\begin{align} E[I(X)] = -\frac{1}{2} \times log_2{\frac{1}{2}} -\frac{1}{2} \times log_2{\frac{1}{2}} = 1 \end{align}$$

• 동전 뒷면이 나온 사건의 정보량이 1이므로 이 사건을 다른 사건, 즉 동전 앞면이 나온 사건과 구분하여 지칭하기 위하여 1 비트가 필요할까요?
  • 1 비트를 사용하여 뒷면이면 0, 앞면이면 1로 표시하여 전달할 수 있습니다.

예시-2. $P(h)=\frac{3}{4}$인 동전 한 개 던지기

네 번 중 세 번의 확률로 앞면이 나오는 동전을 던져서 나온 결과를 알고 있는 A가 B에게 결과 값을 전달하는 상황에서 B가 얻을 정보량과 기댓값을 계산합니다.

$$\begin{align} P(h) = \frac{3}{4} \end{align}$$

$$\begin{align} & I(h) = -log_2{P(h)} = -log_2{\frac{3}{4}} \approx 0.415 \\ & I(t) = -log_2{P(t)} = -log_2{\frac{1}{4}} = 2 \end{align}$$

$$\begin{align} E[I(X)] = -\frac{3}{4} \times log_2{\frac{3}{4}} -\frac{1}{4} \times log_2{\frac{1}{4}} \approx 0.811 \end{align}$$

• 동전 앞면이 나온 사건의 정보량이 0.415이므로 이 사건을 다른 사건, 즉 동전 뒷면이 나온 사건과 구분하여 지칭하기 위하여 0.415 비트가 필요할까요?
  • 비트가 정보 전달의 최소 단위이므로 1 비트보다 작은 비트는 가능하지 않습니다. 그러므로 1 비트를 사용하여 뒷면이면 0, 앞면이면 1로 표시하여 전달할 수 있습니다.
  • 그렇다면 앞면이 나온 사건의 정보량이 0.415라는 것을 0.415 비트가 필요하다고 해석하면 안되는 것일까요?
• 동전 뒷면이 나온 사건의 정보량이 2이므로 이 사건을 다른 사건, 즉 동전 앞면이 나온 사건과 구분하여 지칭하기 위하여 2 비트가 필요할까요?
  • 2 비트를 사용하지 않고 1 비트를 사용하여 뒷면이면 0, 앞면이면 1로 표시하여 전달할 수 있습니다.
  • 그렇다면 뒷면이 나온 사건의 정보량이 2라는 것을 2 비트가 필요하다고 해석하면 안되는 것일까요?

예시-3. $P(h)=\frac{3}{4}$인 동전 열 개 던지기

이번에는 열 개의 동전을 던지고 그 결과를 A가 B에게 전달하는 상황을 상상해 봅니다.

아래 수식에서,

• $ind$: 개별 사건을 지칭
• $m$: 앞면이 나온 횟수
• $n$: 뒷면이 나온 횟수 ($10 - m$)
• $p$: 동전 앞면이 나올 확률
• $q$: 동전 뒷면이 나올 확률 ($1-p$)

개별 사건(미시 상태)를 대상으로 계산

• 앞면이 나온 횟수에 해당하는 개별 사건의 발생 확률

$$\begin{align} P_{ind}(m) &= p^m q^n \\ &= p^m (1-p)^{10 - m} \end{align}$$

• 앞면이 나온 횟수에 해당하는 개별 사건의 정보량

$$\begin{align} I_{ind}(m) &= -log_2{p^m q^n} \\ &= -log_2{p^m {(1-p)}^{10-m}} \\ &= -mlog_2{p} -(10-m)log_2{(1-p)} \\ &=-mlog_2{\frac{3}{4}} - (10-m)log_2{\frac{1}{4}}\\ &= 20-1.585\times m \end{align}$$

• 앞면이 나온 횟수에 해당하는 개별 사건이 정보량에 대한 기댓값에 기여하는 정도

$$\begin{align} P_{ind}(m)I_{ind}(m) = (p^m (1-p)^{10 - m}) \times (20 - 1.585 \times m) \end{align}$$

정보원(거시 상태)을 대상으로 계산

• 앞면이 나온 횟수에 해당하는 가능한 경우의 수

$$\begin{align} {}_{10} C_m = \frac{10!}{m!(10-m)!} \end{align}$$

• 앞면이 나온 횟수에 해당하는 사건이 발생할 확률

$$\begin{align} P(m) = {}_{10} C_m \times P_{ind}(m) = {}_{10} C_m \times p^m (1-p)^{10-m} \end{align}$$

• 앞면이 나온 횟수에 해당하는 개별 사건들이 정보량에 대한 기댓값에 기여하는 정도

$$\begin{align} {}_{10} C_m \times P_{ind}(m) \times I_{ind}(m) \end{align}$$

• 개별 사건들이 정보량에 대한 기댓값에 기여하는 정도를 모두 합한 값

$$\begin{align} E[I] = \sum_m {}_{10} C_m \times P_{ind}(m) \times I_{ind}(m) \end{align}$$

정보량에 대한 기댓값(엔트로피): 8.1128

정보량에 대한 기댓값과 데이터 압축

예를 들어 $8,000,000$ 개의 동전을 던질 때 정보량에 대한 기댓값은 다음과 같습니다.

$$\begin{align} E = 0.811 \times 8,000,000 = 6,488,000 \end{align}$$

이 데이터를 전송할 때 어느 정도의 크기가 필요한지 계산해 봅시다.

• 동전 한 개 당 1비트로 기록할 경우 데이터 크기(단위: 바이트)

$$\begin{align} \frac{8,000,000}{8} = 1,000,000 \end{align}$$

• 정보량에 대한 기댓값을 고려할 경우 데이터 크기(단위: 바이트)

$$\begin{align} \frac{6,488,000}{8} = 811,000 \end{align}$$

위 두 가지 계산 결과는 정보량을 유지하면서도 전송 데이터의 크기를 줄일 수 있음을 보여줍니다.

압축 알고리즘들이 데이터에 나타나는 규칙성을 활용하여 데이터 크기를 줄여나간다는 점을 생각해 보면 앞면이 등장할 확률이 높은 동전들을 던져서 얻는 결과에 어느 정도의 규칙성이 있어서 앞면 뒷면 나올 확률이 같은 동전의 경우보다 압축률이 높아질 것이라 예상할 수 있습니다.

<예시-2>의 두 가지 질문을 다시 살펴보겠습니다.

• 그렇다면 앞면이 나온 사건의 정보량이 0.415라는 것을 0.415 비트가 필요하다고 해석하면 안되는 것일까요?
• 그렇다면 뒷면이 나온 사건의 정보량이 2라는 것을 2 비트가 필요하다고 해석하면 안되는 것일까요?

해석의 문제니까 안된다고 말할 이유는 없습니다. 다만 동전 한 개만을 대상으로 해석하면 비트보다 작은 정보의 단위를 직관적으로 생각하는 데에는 어려움이 있습니다. 그래서 아주 많은 동전들을 대상으로 얻는 데이터를 압축해서 전송하는 상황을 가지고 이야기하면 이해가 좀 더 쉽습니다.

Written with StackEdit.