기본 콘텐츠로 건너뛰기

텍스트 분류를 위한 순환 신경망 이해

텍스트 분류를 위한 순환 신경망 이해

1. 개요

  • 텍스트의 정서가 긍정적인지, 부정적인지 분류하는 순환 신경망(Recurrent Neural Network, RNN) 모델에 대하여 설명
  • RNN 모델의 오류 역전파에 대하여 상세히 설명
  • 구현 코드를 작성하지는 않지만 구현이 가능한 수준으로 설명

2. 문제 정의

  1. 텍스트의 정서가 긍정적인지, 부정적인지 표시되어 있는 데이터 세트를 사용하여 텍스트의 정서 분류 기능을 학습
    1. 데이터 세트는 NN개의 텍스트와 각각의 텍스트에 대한 정서 분류값을 가지고 있음
    2. 각각의 텍스트를 구성하고 있는 단어 수는 서로 다른 값을 가질 수도 있음
    3. 정서 분류는 부정적(0), 긍정적(1)으로 구분
  2. 새로운 텍스트에 대하여 정서가 긍정적인지, 부정적인지 예측

3. 문제 해결 과정

데이터 기반 예측 문제의 해결 과정을 아래의 세 단계로 나누어 볼 수 있습니다.

  1. 주어진 데이터 세트의 특성을 잘 나타내는 모델 함수를 정의합니다. 모델 함수가 가지고 있는 파라미터들은 데이터 세트에 맞도록 값이 조정되는 요소들입니다.
  2. 데이터 세트의 참값과 모델 함수가 예측하는 값의 차이의 정도를 나타내는 비용 함수를 정의합니다.
  3. 데이터 세트에 대하여 비용을 줄여나가는 방향으로 모델 파라미터를 조정합니다. 비용이 최솟값에 가까워질 때까지 파라미터 조정 과정을 반복합니다.

이렇게 얻은 모델 함수를 사용하여 새로운 데이터가 주어질 때 예측하고자 하는 값이 얼마일지 추정합니다.

4. 모델 함수 정의

ht=tanh(Wxhxt+Whhht1+bh)y=Whyhn+bypi=softmax(yi)=eyii=01eyi \begin{alignat}{4} h_{t}& = tanh (W_{xh} \cdot x_{t} + W_{hh} \cdot h_{t-1}+ b_{h}) \\ y& = W_{hy} \cdot h_{n} + b_{y} \\ p_{i}& = softmax(y_{i}) = \frac {e^{y_i}} { \sum_{i=0}^1 e^{y_i} } \\ \end{alignat}

  • tt는 텍스트를 구성하는 단어의 순서에 따라 부여한 인덱스 (0부터 시작)
  • ii는 분류 범주에 부여한 인덱스 (0: negative, 1: positive)
  • xtx_t는 t 시점에서 입력 단어의 벡터
  • hth_t는 t 시점에서 RNN 네트워크의 상태 벡터 (h1h_{-1}은 값이 0인 벡터)
  • yy는 RNN 네트워크의 출력 벡터
  • pp는 범주별 예측 확률 벡터
  • WxhW_{xh}, WhhW_{hh}, WhyW_{hy}는 모델 학습 파라미터 행렬
  • bhb_{h}, byb_{y}는 모델 바이어스 파라미터 벡터

5. 비용 함수 정의

비용 함수로 크로스-엔트로피 손실(cross-entropy loss)을 사용합니다.

L=ln(pc) \begin{alignat}{4} L&=-ln(p_{c}) \end{alignat}

  • cc는 참인 범주
  • pcp_c는 참인 범주일 확률

6. 모델 파라미터 찾기

경사하강법을 사용하여 모델의 파라미터를 찾습니다.

입력 텍스트가 3개의 단어로 이루어져 있는 경우를 예로 들어 설명을 진행합니다.

6.1. 경사도 수식 도출

찾고자 하는 파라미터를 변경하였을 때 영향을 받는 변수들을 화살표로 표시해 봅니다. 이를 토대로 파라미터 변경에 대한 비용 함수의 경사도 수식을 도출할 것입니다.


LWhy=yWhyLy \begin{alignat}{4} \frac {\partial L}{\partial W_{hy}}& = \frac {\partial y}{\partial W_{hy}} \cdot \frac {\partial L}{\partial y} \end{alignat}

Lby=ybyLy \begin{alignat}{4} \frac {\partial L}{\partial b_{y}}& = \frac {\partial y}{\partial b_{y}} \cdot \frac {\partial L}{\partial y} \end{alignat}

위의 경사도 수식에서 각각의 항목을 구하면 아래와 같습니다.

yWhy=h2yby=1 \begin{alignat}{4} \frac {\partial y}{\partial W_{hy}}& = h_{2} \\ \frac {\partial y}{\partial b_{y}}& = 1 \end{alignat}



LWxh=h2WxhLh2+h1Wxhh2h1Lh2+h0Wxhh1h0h2h1Lh2 \begin{alignat}{4} \frac {\partial L}{\partial W_{xh}}& = \frac {\partial h_2}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_1}{\partial W_{xh}} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_0}{\partial W_{xh}} \cdot \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \end{alignat}

LWhh=h2WhhLh2+h1Whhh2h1Lh2+h0Whhh1h0h2h1Lh2 \begin{alignat}{4} \frac {\partial L}{\partial W_{hh}}& = \frac {\partial h_2}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_1}{\partial W_{hh}} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_0}{\partial W_{hh}} \cdot \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \end{alignat}

Lbh=h2bhLh2+h1bhh2h1Lh2+h0bhh1h0h2h1Lh2 \begin{alignat}{4} \frac {\partial L}{\partial b_{h}}& = \frac {\partial h_2}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_1}{\partial b_{h}} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_0}{\partial b_{h}} \cdot \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \end{alignat}

위의 경사도 수식을 좀 더 정리할 수 있습니다.

LWxh=h2WxhLh2+h1WxhLh1+h0WxhLh0LWhh=h2WhhLh2+h1WhhLh1+h0WhhLh0Lbh=h2bhLh2+h1bhLh1+h0bhLh0 \begin{alignat}{4} \frac {\partial L}{\partial W_{xh}}& = \frac {\partial h_2}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_2} + \frac {\partial h_1}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_1} + \frac {\partial h_0}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_0} \\ \frac {\partial L}{\partial W_{hh}}& = \frac {\partial h_2}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_2} + \frac {\partial h_1}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_1} + \frac {\partial h_0}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_0} \\ \frac {\partial L}{\partial b_{h}}& = \frac {\partial h_2}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_2} + \frac {\partial h_1}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_1} + \frac {\partial h_0}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_0} \end{alignat}

Lh2=yh2LyLh1=h2h1Lh2Lh0=h1h0Lh1 \begin{alignat}{4} \frac {\partial L}{\partial h_2}& = \frac {\partial y}{\partial h_2} \cdot \frac {\partial L}{\partial y} \\ \frac {\partial L}{\partial h_1}& = \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ \frac {\partial L}{\partial h_0}& = \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial L}{\partial h_1} \end{alignat}

위의 수식 (18) ~ (23)을 계산하는데 필요한 항목들을 구하면 아래와 같습니다.

yh2=Whyh2h1=(1h22)Whhh1h0=(1h12)Whh \begin{alignat}{4} \frac {\partial y}{\partial h_2}& = W_{hy} \\ \frac {\partial h_2}{\partial h_1}& = (1-{h_2}^2) \cdot W_{hh} \\ \frac {\partial h_1}{\partial h_0}& = (1-{h_1}^2) \cdot W_{hh} \end{alignat}

h2Wxh=(1h22)x2h1Wxh=(1h12)x1h0Wxh=(1h02)x0 \begin{alignat}{4} \frac {\partial h_2}{\partial W_{xh}}& = (1 - {h_2}^2) \cdot x_2 \\ \frac {\partial h_1}{\partial W_{xh}}& = (1 - {h_1}^2) \cdot x_1 \\ \frac {\partial h_0}{\partial W_{xh}}& = (1 - {h_0}^2) \cdot x_0 \end{alignat}

h2Whh=(1h22)h1h1Whh=(1h12)h0h0Whh=(1h02)h1 \begin{alignat}{4} \frac {\partial h_2}{\partial W_{hh}}& = (1 - {h_2}^2) \cdot h_1 \\ \frac {\partial h_1}{\partial W_{hh}}& = (1 - {h_1}^2) \cdot h_0 \\ \frac {\partial h_0}{\partial W_{hh}}& = (1 - {h_0}^2) \cdot h_{-1} \end{alignat}

h2bh=(1h22)1h1bh=(1h12)1h0bh=(1h02)1 \begin{alignat}{4} \frac {\partial h_2}{\partial b_{h}}& = (1 - {h_2}^2) \cdot 1 \\ \frac {\partial h_1}{\partial b_{h}}& = (1 - {h_1}^2) \cdot 1 \\ \frac {\partial h_0}{\partial b_{h}}& = (1 - {h_0}^2) \cdot 1 \end{alignat}

남은 항목 Ly\frac {\partial L}{\partial y}의 계산 과정은 생략하고 결과만 적으면 아래와 같습니다.

Lyi=pi,foricLyi=pi1,fori=c \begin{alignat}{4} \frac {\partial L}{\partial y_i}& = p_i &{, \quad for \quad i \ne c} \\ \frac {\partial L}{\partial y_i}& = p_i - 1 &{, \quad for \quad i = c} \end{alignat}

이제 경사도 계산에 필요한 모든 항목을 구할 수 있게 되었습니다.

  1. 학습 파라미터 Whh,WhyW_{hh}, W_{hy}
  2. 입력 데이터 x0,x1,x2x_0, x_1, x_2
  3. 은닉 상태 h1,h0,h1,h2h_{-1}, h_0, h_1, h_2
  4. 출력 결과 pp

6.2. 반복 수행

비용 함수의 값이 최솟값에 가까워지도록 아래의 과정을 수행합니다.

  1. 지정한 epoch 수만큼 반복
    1. 텍스트의 수만큼 반복
      1. 예측 및 오류 계산
        1. 오류 역전파 과정에서 사용하기 위하여 x0,x1,x2x_0, x_1, x_2 보관
        2. t=0,1,2t = 0, 1, 2에 대하여 수식 (1)을 적용
        3. 오류 역전파 과정에서 사용하기 위하여 h0,h1,h2h_0, h_1, h_2 보관
        4. 위의 결과로 얻은 h2h_2에 대하여 수식 (2), (3)을 적용
        5. 수식 (4)를 통해서 오류 계산
      2. 오류 역전파
        1. 수식 (36), (37) 계산
        2. 수식 (5) ~ (8)로 비용 함수의 WhyW_{hy}, byb_y에 대한 경사도 계산
        3. t=2,1,0t = 2, 1, 0에 대하여 수식 (18) ~ (35)로 비용 함수의 WxhW_{xh}, WhhW_{hh}, bhb_h에 대한 경사도 계산
      3. 파라미터 조정
        Why=lr×LWhyby=lr×LbyWxh=lr×LWxhWhh=lr×LWhhbh=lr×Lbh \begin{alignat}{4} W_{hy}& -= l_r \times \frac {\partial L}{\partial W_{hy}} \\ b_{y}& -= l_r \times \frac {\partial L}{\partial b_{y}} \\ W_{xh}& -= l_r \times \frac {\partial L}{\partial W_{xh}} \\ W_{hh}& -= l_r \times \frac {\partial L}{\partial W_{hh}} \\ b_{h}& -= l_r \times \frac {\partial L}{\partial b_{h}} \\ \end{alignat}
  • lrl_r은 학습 속도
  • 입력 텍스트의 단어 개수는 텍스트별로 다른 값일 수 있으므로 단어 순서에 따라 매기는 인덱스 tt의 크기도 달라질 수 있습니다.

7. 새로운 텍스트의 정서 분류

새로운 텍스트가 4개의 단어로 이루어져 있는 경우를 예로 들어 정서를 분류해 봅니다.

  1. t=0,1,2,3t = 0, 1, 2, 3에 대하여 수식 (1)을 적용
  2. 위의 결과로 얻은 h3h_3에 대하여 수식 (2), (3)을 적용
  3. p0p_0(부정적), p1p_1(긍정적) 중에서 큰 값의 분류를 채택

Written with StackEdit.

댓글

이 블로그의 인기 게시물

Intel MKL 예제를 Microsoft Visual C++로 빌드하기

Intel MKL 예제를 Microsoft Visual C++로 빌드하기 인텔 프로세서 시스템에서 아래의 영역에 해당하는 수학 계산을 빠르게 수행하고자 한다면 Intel MKL 라이브러리를 사용할 수 있습니다. Linear Algebra Fast Fourier Transforms (FFT) Vector Statistics & Data Fitting Vector Math & Miscellaneous Solvers 이 문서는 Intel MKL 이 제공하는 예제 파일을 Microsoft Visual C++ 로 컴파일하고 링크하여 실행 파일을 만드는 과정을 소개합니다. 빌드 환경 다음은 이 문서를 작성하는 과정에서 Intel MKL 예제를 빌드하기 위하여 사용한 환경입니다. 시스템 운영체제: Windows 10 (64비트) 프로세서: Intel Core i7 설치 제품 IDE: Microsoft Visual Studio Community 2019 (version 16) 라이브러리: Intel Math Kernel Library 2019 Update 5 환경 변수 명령 프롬프트 창을 엽니다. 아래 스크립트를 실행하여 환경 변수 INCLUDE , LIB , 그리고 PATH 를 설정합니다. @echo off set CPRO_PATH=C:\Program Files (x86)\IntelSWTools\compilers_and_libraries\windows set MKLROOT=%CPRO_PATH%\mkl set REDIST=%CPRO_PATH%\redist set INCLUDE=%MKLROOT%\include;%INCLUDE% set LIB=%MKLROOT%\lib\intel64;%LIB% set PATH=%REDIST%\intel64\mkl;%PATH% REM for OpenMP intel thread set LIB=%CPRO_PATH%\compiler\lib...

Llama 3.2로 문장 생성 및 챗팅 완성 실습

Llama 3.2로 문장 생성 및 챗팅 완성 실습 Running Meta Llama on Linux 문서의 내용을 참고하여 Llama 3.2 1B 모델로 다음 두 가지 기능을 실습합니다. 문장 완성 챗팅 완성 실습 환경 Ubuntu 20.04.6 LTS Python 3.12.7 Llama3.2-1B, Llama3.2-1B-Instruct rustc 1.83.0 NVIDIA RTX 4090 24GB 프로그램 준비 실습에서 사용할 wget , md5sum 설치 sudo apt-get install wget sudo apt-get install md5sum NVIDIA GPU 설치 여부 확인 nvidia-smi 실습 디렉토리 만들기 mkdir llama3-demo cd llama3-demo git clone https://github.com/meta-llama/llama3.git Python 3.10 이상의 버전으로 가상환경 만들고 활성화 python -m venv llama-venv . llama-venv/bin/activate Rust 컴파일러 설치 How To Install Rust on Ubuntu 20.04 문서를 참고하여 Rust 컴파일러를 설치합니다. curl --proto '=https' --tlsv1.3 https://sh.rustup.rs -sSf | sh 위 명령을 실행하면 아래와 같이 세 가지 선택 옵션이 나타나는데 그냥 엔터를 쳐서 1번 옵션으로 진행합니다. ... 1) Proceed with installation (default) 2) Customize installation 3) Cancel installation 아래 명령을 실행하여 현재 쉘에 반영하고 설치된 컴파일러 버전을 확인합니다. source $HOME/.cargo/env rustc --version 의존 라이브러리 설치 pip install ...