[신경망 이해] 모델 학습 세 단계

 1. 모델 함수 정의 (Model Function Definition)

이 단계는 "가설을 세우는 단계"라고 할 수 있습니다. 데이터의 입력(X)과 출력(Y) 사이에 어떤 수학적 관계가 있을 것이라고 가정하고, 그 관계를 나타내는 함수를 정의합니다. 이 함수를 '모델' 또는 '가설(Hypothesis)'이라고 부릅니다.

• 역할: 입력 변수들을 사용해서 예측값을 어떻게 계산할지 구조를 결정합니다.
• 예시:
• 선형 회귀 (Linear Regression): 입력(x)과 출력(y) 사이에 직선 관계가 있다고 가정하고, 모델 함수를 H(x)=Wx+b 와 같이 정의합니다. 여기서 W(가중치)와 b(편향)가 우리가 찾아야 할 파라미터입니다.
• 신경망 (Neural Network): 여러 개의 뉴런과 활성화 함수를 복잡하게 연결하여 비선형 관계를 표현할 수 있는 매우 유연한 함수를 정의합니다.

2. 비용 함수 정의 (Cost Function Definition)

이 단계는 "모델의 예측이 얼마나 틀렸는지 측정하는 기준을 세우는 단계"입니다. 모델이 예측한 값(H(x))과 실제 정답(y) 사이의 차이(오차)를 계산하는 함수를 정의합니다. 이 함수를 '비용 함수(Cost Function)' 또는 '손실 함수(Loss Function)'라고 합니다.

• 역할: 모델의 성능을 정량적인 숫자로 평가합니다. 비용 함수의 값이 작을수록 모델의 예측이 더 정확하다는 의미입니다.
• 목표: 이 비용 함수의 값을 최소화하는 것이 학습의 목표가 됩니다.
• 예시:
• 평균 제곱 오차 (Mean Squared Error, MSE): 회귀 문제에서 주로 사용되며, (예측값 - 실제값)²의 평균을 계산합니다.
• 교차 엔트로피 (Cross-Entropy): 분류 문제에서 주로 사용되며, 모델의 예측 확률 분포와 실제 정답 분포의 차이를 측정합니다.

3. 모델 파라미터 찾기 (Finding Model Parameters)

이 단계는 "실제 학습(Training)이 일어나는 단계"입니다. 2단계에서 정의한 비용 함수를 최소화하는 모델 파라미터(예: W와 b)를 찾는 과정입니다. 이 과정을 '최적화(Optimization)'라고 부릅니다.

• 역할: 데이터를 가장 잘 설명하는 최적의 모델 파라미터를 찾아 모델을 완성합니다.
• 방법: 주로 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘을 사용합니다. 비용 함수를 파라미터로 미분하여 얻은 기울기(Gradient)를 이용해, 비용이 감소하는 방향으로 파라미터를 점진적으로 업데이트합니다.
• 결과: 이 과정을 거치면 주어진 데이터를 가장 잘 예측하는 모델이 만들어집니다.