페이지

2024년 2월 4일 일요일

가설 검정 학습 내용 요약

출처: 위키백과
  1. 통계적 추론
    • 추론 통계 또는 추론 통계학(inferential statistics)으로 불린다. 
    • 기술 통계학(descriptive statistics)과 구별되는 개념
    • 도수 확률(frequency probability)과 사전 확률(prior probability)을 기반으로 하는 베이즈 추론의 두 학파가 있다.
    • 추정(estimation)과 가설 검정(hypothesis test)으로 나눌 수 있다.
  2. 가설 검정
    • 통계적 가설 검정(statistical hypothesis test)
      • 모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정
      • 가설 검정 또는 가설검증(hypothesis test)이라고 부르는 경우도 많다.
  3. 통계적 가설
    • 하나의 특정 주장을 모수를 이용해 나타낸 형태를 지칭
    • 귀무가설(Null hypothesis ,H0, 영가설)과 이와 반대에 있는 대립가설(Alternative hypothesis,H1)로 나타낸다.
  4. 가설 검정 5단계 절차
    1. 유의수준의 결정, 귀무가설(H0)과 대립가설(H1) 설정
    2. 표집(sampling) 및 검정통계량의 설정
    3. 기각역의 설정
    4. 검정통계량 계산 및 영가설 확인
    5. 통계적인 의사결정
  5. 귀무가설과 대립가설 설정
    • 양측 검정(two-sided test, two-tailed test)
      • 기각 영역(rejection region)이 양쪽에 있는 것이고, 그러므로 유의수준도 양 극단으로 갈라져 한쪽의 면적이 절반이 된다.
    • 단측 검정(one-sided test)
      • 좌측 검정(lower tailed test)
      • 우측 검정(upper tailed test)
  6. 1종 오류와 2종 오류
    • 1종 오류 - 귀무가설을 잘못 기각하는 오류
      • 거짓 양성 또는 알파 오류라고도 한다.
    • 2종 오류 - 귀무가설을 잘못 채택하는 오류
      • 거짓 음성 또는 베타 오류라고도 한다.
  7. 검정력
    • 대립가설이 사실일 때, 이를 사실로서 결정할 확률이다.
  8. T 테스트
  9. 유의 확률
    • 유의 확률(有意 確率, 영어: significance probability, asymptotic significance) 또는 p-값(영어: p-value, probability value)은 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 결과가 실제로 관측될 확률이다.
    • p-값(p-value)은 귀무 가설(null hypothesis)이 맞다는 전제 하에, 표본에서 실제로 관측된 통계치와 '같거나 더 극단적인' 통계치가 관측될 확률이다. 여기서 말하는 확률은 '빈도주의' (frequentist) 확률이다.
  10. 노름공간
  11. t값
  12. 자유도
  13. 통계적 유의성
    • 검정통계량은 표본 크기의 함수이므로 표본 크기가 커질수록 검정통계량의 값은 커져서 실질적으로는 유의성이 없어도 통계적으로는 유의한 것으로 판정될 수 있다. 이때의 오류는 1종오류가 된다. 즉, 통계적 유의성은 오류가능성을 동반한다.

2023년 9월 18일 월요일

큰 JSON 파일 파싱 Python 라이브러리 성능 비교

큰 JSON 파일 파싱 Python 라이브러리 성능 비교

1. 개요

1.1. 이 문서의 목적

  • 큰 JSON 파일을 파싱할 때 메모리 사용량과 속도 측면에서 JSON 파싱 Python 라이브러리들을 비교해 봅니다.

1.2. 독자

  • 큰 JSON 파일을 파싱하여 처리하고자 하는 개발자

1.3. 사전 지식

  • Python 프로그래밍 기초
  • JSON 파일 형식

2. 준비

2.1. 테스트 환경

테스트를 위해 사용한 환경은 다음과 같습니다.

  • CPU: 12th Gen Intel Core i7-12700H x 20
  • Memory: 32GB
  • OS: Ubuntu 22.04.2 LTS

2.2. 데이터

샌프란시스코의 지리 정보를 담고 있는 City Lots San Francisco in .json 파일을 테스트 데이터로 사용합니다. 데이터의 JSON 구조는 아래와 같습니다.

{
    "type": "FeatureCollection",
    "features": [
        {
            "type": "Feature",
            "properties": {
                "MAPBLKLOT": "0001001",
                ...
                "LOT_NUM": "001",
                ...
            },
            "geometry": {
                "type": "Polygon",
                "coordinates": [
                    ...
                ]
            }
        },
        ...
        {
            "type": "Feature",
            "properties": {
                "MAPBLKLOT": "VACSTWIL",
                ...
                "LOT_NUM": "WIL",
                ...
            },
            "geometry": {
                "type": "Polygon",
                "coordinates": [
                    ...
                ]
            }
        }
    ]
}
  • 파일 크기: 181MB
  • features 속성의 배열 크기: 206560

2.3. 라이브러리

라이브러리 스트리밍 방식 여부 특징
json X 파이썬 기본 패키지에 포함
ujson X UltraJSON (순수 C로 작성하였고 빠름)
orjson X 빠르고 json보다 올바르다(correct)고 함
ijson O High-level, low-level 인터페이스 제공 (items, kvitems, parse)
json-streamer O 부분 입력 가능
bigjson O 필요할 때 파일로부터 읽음

2.4. 테스트 스크립트

다음 각각의 작업을 수행할 때마다 스크립트를 새롭게 시작하는 방식으로 메모리 사용량과 소요 시간을 측정합니다.

  • JSON 파일의 앞 부분에서 LOT_NUM 속성의 값 얻기
  • JSON 파일의 마지막 부분에서 LOT_NUM 속성의 값 얻기

테스트 스크립트는 python-lib-test에 있습니다.

3. 테스트 결과

JSON 파일의 앞 부분 LOT_NUM 값 얻기

라이브러리 메모리(MB) 속도(초)
json 855 2.96
ujson 1035.7 2.72
orjson 862.6 2.12
ijson.items() 14.4 0.00
ijson.parse() 14.8 0.00
json-streamer 17.3 0.00
bigjson 15.0 0.00

JSON 파일의 마지막 부분 LOT_NUM 값 얻기

라이브러리 메모리(MB) 속도(초)
json 855 2.94
ujson 1035.5 2.76
orjson 888.2 2.21
ijson.items() 15.2 2.10
ijson.parse() 14.8 2.79
json-streamer 17.5 22.87
bigjson 15.8 325.23

위 표를 보면 메모리 사용량 및 속도 측면에서 ijson이 가장 좋은 결과를 보여주고 있음을 알 수 있습니다.

중요!!!

  • 라이브러리 비교 순위는 JSON 데이터의 구조와 테스트 시나리오에 따라 달라질 수도 있습니다.

참고

  • JSON 파일을 처음부터 끝까지 파일 읽기(file read)만 수행하기
    • 소요 시간: 0.05초
  • Python RegEx 라이브러리(import re)를 사용하여 마지막 부분 LOT_NUM 값 얻기
    • 메모리 사용량: 12.2MB
    • 소요 시간: 0.15초

4. 더 읽어 볼만한 자료

  1. Processing large JSON files in Python without running out of memory by Itamar Turner-Trauring

Written with StackEdit.

2023년 5월 1일 월요일

OAuth 2.0과 OpenID Connect 요약

OAuth 2.0과 OpenID Connect 요약

Imgur

1. 표준

2. 용어 및 약어

  • 인증(Authentication) - 사용자 신원 검증
  • 인가(Authorization) - 접근 권한 부여
  • 정보주체(Resource Owner) - 정보 소유자
  • 인증서버(Authorization Server) - 사용자 인증 수행
  • 신원확인서버(Identity Provider, 줄여서 IdP) - 사용자 인증 수행 및 사용자 정보 제공 서버
  • 정보제공서버(Resource Server) - 정보 서비스를 제공하는 서버

3. 질문과 답

  1. OAuth 2.0과 OpenID Connect(OIDC)를 한 줄로 설명한다면?
    • OAuth 2.0 - 접근 권한 부여 프레임워크 (사용자 인증 부분을 정의하지 않고 자율에 맡김)
    • OpenID Connect - 사용자 신원 인증 규격 (OAuth 2.0에서 자율에 맡겨 두었던 사용자 인증 부분을 정의함)
      • 그렇다고 OAuth 2.0의 부분집합은 아님
      • OAuth 2.0의 확장이라고 말하는 것도 적합한 표현은 아님
      • OpenID Connect를 OAuth 2.0의 상위 계층으로 표현하는 것도 가능해 보임(HTTP를 TCP의 상위 계층으로 두는 것과 유사)
      • 규격을 정의한 단체가 다름을 떠나서 개념만 놓고 보면 OpenID Connect는 OAuth 2.0의 한 부분을 정의하고 있다.
  2. OAuth 2.0의 Authorization Code Flow에서 OpenID Connect가 만드는 차이는?
    • Authorization Endpoint에 요청할 때 scope 항목의 값으로 openid를 지정
    • Token Endpoint의 응답으로 Access TokenID Token 전달
  3. Authorization Code Flow에서 Authorization Code 전송 과정이 필요한 이유는?
    • 웹 서비스 --> 브라우져 --> IdP – (access token) --> 브라우져 – (access token) --> 웹 서비스 – (로그인 성공) --> 브라우져
      • 브라우져에서 (access token) 탈취 위험 높음
    • 웹 서비스 --> 브라우져 --> IdP – (authorization code) --> 브라우져 – (authorization code) --> 웹 서비스 – (authorization code) --> IdP – (access token) --> 웹 서비스 – (로그인 성공) --> 브라우져
      • IdP에서 웹 서비스로 곧바로 (access token)이 전달되므로 탈취 위험 낮음
  4. 클라이언트는 Access TokenID Token을 해석할 수 있는가?
    • Access Token: 해석 불가
    • ID Token: 해석 가능
      • 대칭 알고리즘을 사용했으면 인증서버가 공유한 비밀키, 비대칭 알고리즘을 사용했으면 인증서버의 공개키를 사용하여 해석
  5. UserInfo Endpoint의 용도는?
    • ID Token에 포함된 정보로는 부족해서 더 많은 사용자 정보를 요청할 때 사용
  6. 브라우져가 Client Secret이나 Access Token에 접근하는 경우도 있는가?
    • 없어야 함!!!
  7. IdP에 Redirect URI를 등록해 놓고도 인증요청을 보낼 때 Redirect URI 필드에 값을 채워서 보내야 하는 이유는?
    • 웹 서비스 이중화를 위해 여러 대의 서버를 구성해 놓은 경우 IdP에 여러 개의 Redirect URI를 등록해 놓을 수 있다. 그래서 각각의 웹 서비스는 자신의 Redirect URI를 인증요청 메시지에 포함해야 한다.
    • IdP에는 한 개의 Redirect URI가 등록되어 있고 인증요청 메시지는 Redirect URI를 포함하고 있지 않을 때에는 IdP 구현에 따라 등록되어 있는 값을 사용해서 정상 처리할 수도 있고 오류로 처리할 수도 있을 것 같다.

4. 사용 지침

  • Implicit Flow - 쓰지 말라!!!
    • OAuth 2.0 Security Best Current Practice - IETF

      In order to avoid these issues, clients SHOULD NOT use the implicit
      grant (response type “token”) or any other response type issuing
      access tokens in the authorization response, such as “token id_token”
      and “code token id_token”, unless the issued access tokens are
      sender-constrained and access token injection in the authorization
      response is prevented.

    • Is the OAuth 2.0 Implicit Flow Dead? - Okta

      The OAuth Working Group has published some new guidance around the Implicit flow and JavaScript-based apps, specifically that the Implicit flow should no longer be used.

  • Resource Owner Password Credentials Flow - 쓰지 말라!!!

5. 참고 자료

Written with StackEdit.

2023년 4월 9일 일요일

텍스트 분류를 위한 순환 신경망 이해

텍스트 분류를 위한 순환 신경망 이해

1. 개요

  • 텍스트의 정서가 긍정적인지, 부정적인지 분류하는 순환 신경망(Recurrent Neural Network, RNN) 모델에 대하여 설명
  • RNN 모델의 오류 역전파에 대하여 상세히 설명
  • 구현 코드를 작성하지는 않지만 구현이 가능한 수준으로 설명

2. 문제 정의

  1. 텍스트의 정서가 긍정적인지, 부정적인지 표시되어 있는 데이터 세트를 사용하여 텍스트의 정서 분류 기능을 학습
    1. 데이터 세트는 NN개의 텍스트와 각각의 텍스트에 대한 정서 분류값을 가지고 있음
    2. 각각의 텍스트를 구성하고 있는 단어 수는 서로 다른 값을 가질 수도 있음
    3. 정서 분류는 부정적(0), 긍정적(1)으로 구분
  2. 새로운 텍스트에 대하여 정서가 긍정적인지, 부정적인지 예측

3. 문제 해결 과정

데이터 기반 예측 문제의 해결 과정을 아래의 세 단계로 나누어 볼 수 있습니다.

  1. 주어진 데이터 세트의 특성을 잘 나타내는 모델 함수를 정의합니다. 모델 함수가 가지고 있는 파라미터들은 데이터 세트에 맞도록 값이 조정되는 요소들입니다.
  2. 데이터 세트의 참값과 모델 함수가 예측하는 값의 차이의 정도를 나타내는 비용 함수를 정의합니다.
  3. 데이터 세트에 대하여 비용을 줄여나가는 방향으로 모델 파라미터를 조정합니다. 비용이 최솟값에 가까워질 때까지 파라미터 조정 과정을 반복합니다.

이렇게 얻은 모델 함수를 사용하여 새로운 데이터가 주어질 때 예측하고자 하는 값이 얼마일지 추정합니다.

4. 모델 함수 정의

ht=tanh(Wxhxt+Whhht1+bh)y=Whyhn+bypi=softmax(yi)=eyii=01eyi \begin{alignat}{4} h_{t}& = tanh (W_{xh} \cdot x_{t} + W_{hh} \cdot h_{t-1}+ b_{h}) \\ y& = W_{hy} \cdot h_{n} + b_{y} \\ p_{i}& = softmax(y_{i}) = \frac {e^{y_i}} { \sum_{i=0}^1 e^{y_i} } \\ \end{alignat}

  • tt는 텍스트를 구성하는 단어의 순서에 따라 부여한 인덱스 (0부터 시작)
  • ii는 분류 범주에 부여한 인덱스 (0: negative, 1: positive)
  • xtx_t는 t 시점에서 입력 단어의 벡터
  • hth_t는 t 시점에서 RNN 네트워크의 상태 벡터 (h1h_{-1}은 값이 0인 벡터)
  • yy는 RNN 네트워크의 출력 벡터
  • pp는 범주별 예측 확률 벡터
  • WxhW_{xh}, WhhW_{hh}, WhyW_{hy}는 모델 학습 파라미터 행렬
  • bhb_{h}, byb_{y}는 모델 바이어스 파라미터 벡터

5. 비용 함수 정의

비용 함수로 크로스-엔트로피 손실(cross-entropy loss)을 사용합니다.

L=ln(pc) \begin{alignat}{4} L&=-ln(p_{c}) \end{alignat}

  • cc는 참인 범주
  • pcp_c는 참인 범주일 확률

6. 모델 파라미터 찾기

경사하강법을 사용하여 모델의 파라미터를 찾습니다.

입력 텍스트가 3개의 단어로 이루어져 있는 경우를 예로 들어 설명을 진행합니다.

6.1. 경사도 수식 도출

찾고자 하는 파라미터를 변경하였을 때 영향을 받는 변수들을 화살표로 표시해 봅니다. 이를 토대로 파라미터 변경에 대한 비용 함수의 경사도 수식을 도출할 것입니다.


LWhy=yWhyLy \begin{alignat}{4} \frac {\partial L}{\partial W_{hy}}& = \frac {\partial y}{\partial W_{hy}} \cdot \frac {\partial L}{\partial y} \end{alignat}

Lby=ybyLy \begin{alignat}{4} \frac {\partial L}{\partial b_{y}}& = \frac {\partial y}{\partial b_{y}} \cdot \frac {\partial L}{\partial y} \end{alignat}

위의 경사도 수식에서 각각의 항목을 구하면 아래와 같습니다.

yWhy=h2yby=1 \begin{alignat}{4} \frac {\partial y}{\partial W_{hy}}& = h_{2} \\ \frac {\partial y}{\partial b_{y}}& = 1 \end{alignat}



LWxh=h2WxhLh2+h1Wxhh2h1Lh2+h0Wxhh1h0h2h1Lh2 \begin{alignat}{4} \frac {\partial L}{\partial W_{xh}}& = \frac {\partial h_2}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_1}{\partial W_{xh}} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_0}{\partial W_{xh}} \cdot \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \end{alignat}

LWhh=h2WhhLh2+h1Whhh2h1Lh2+h0Whhh1h0h2h1Lh2 \begin{alignat}{4} \frac {\partial L}{\partial W_{hh}}& = \frac {\partial h_2}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_1}{\partial W_{hh}} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_0}{\partial W_{hh}} \cdot \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \end{alignat}

Lbh=h2bhLh2+h1bhh2h1Lh2+h0bhh1h0h2h1Lh2 \begin{alignat}{4} \frac {\partial L}{\partial b_{h}}& = \frac {\partial h_2}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_1}{\partial b_{h}} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ & + \frac {\partial h_0}{\partial b_{h}} \cdot \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \end{alignat}

위의 경사도 수식을 좀 더 정리할 수 있습니다.

LWxh=h2WxhLh2+h1WxhLh1+h0WxhLh0LWhh=h2WhhLh2+h1WhhLh1+h0WhhLh0Lbh=h2bhLh2+h1bhLh1+h0bhLh0 \begin{alignat}{4} \frac {\partial L}{\partial W_{xh}}& = \frac {\partial h_2}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_2} + \frac {\partial h_1}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_1} + \frac {\partial h_0}{\partial W_{xh}} \cdot \frac {\partial L}{\partial h_0} \\ \frac {\partial L}{\partial W_{hh}}& = \frac {\partial h_2}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_2} + \frac {\partial h_1}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_1} + \frac {\partial h_0}{\partial W_{hh}} \cdot \frac {\partial L}{\partial h_0} \\ \frac {\partial L}{\partial b_{h}}& = \frac {\partial h_2}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_2} + \frac {\partial h_1}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_1} + \frac {\partial h_0}{\partial b_{h}} \cdot \frac {\partial L}{\partial h_0} \end{alignat}

Lh2=yh2LyLh1=h2h1Lh2Lh0=h1h0Lh1 \begin{alignat}{4} \frac {\partial L}{\partial h_2}& = \frac {\partial y}{\partial h_2} \cdot \frac {\partial L}{\partial y} \\ \frac {\partial L}{\partial h_1}& = \frac {\partial h_2}{\partial h_1} \cdot \frac {\partial L}{\partial h_2} \\ \frac {\partial L}{\partial h_0}& = \frac {\partial h_1}{\partial h_0} \cdot \frac {\partial L}{\partial h_1} \end{alignat}

위의 수식 (18) ~ (23)을 계산하는데 필요한 항목들을 구하면 아래와 같습니다.

yh2=Whyh2h1=(1h22)Whhh1h0=(1h12)Whh \begin{alignat}{4} \frac {\partial y}{\partial h_2}& = W_{hy} \\ \frac {\partial h_2}{\partial h_1}& = (1-{h_2}^2) \cdot W_{hh} \\ \frac {\partial h_1}{\partial h_0}& = (1-{h_1}^2) \cdot W_{hh} \end{alignat}

h2Wxh=(1h22)x2h1Wxh=(1h12)x1h0Wxh=(1h02)x0 \begin{alignat}{4} \frac {\partial h_2}{\partial W_{xh}}& = (1 - {h_2}^2) \cdot x_2 \\ \frac {\partial h_1}{\partial W_{xh}}& = (1 - {h_1}^2) \cdot x_1 \\ \frac {\partial h_0}{\partial W_{xh}}& = (1 - {h_0}^2) \cdot x_0 \end{alignat}

h2Whh=(1h22)h1h1Whh=(1h12)h0h0Whh=(1h02)h1 \begin{alignat}{4} \frac {\partial h_2}{\partial W_{hh}}& = (1 - {h_2}^2) \cdot h_1 \\ \frac {\partial h_1}{\partial W_{hh}}& = (1 - {h_1}^2) \cdot h_0 \\ \frac {\partial h_0}{\partial W_{hh}}& = (1 - {h_0}^2) \cdot h_{-1} \end{alignat}

h2bh=(1h22)1h1bh=(1h12)1h0bh=(1h02)1 \begin{alignat}{4} \frac {\partial h_2}{\partial b_{h}}& = (1 - {h_2}^2) \cdot 1 \\ \frac {\partial h_1}{\partial b_{h}}& = (1 - {h_1}^2) \cdot 1 \\ \frac {\partial h_0}{\partial b_{h}}& = (1 - {h_0}^2) \cdot 1 \end{alignat}

남은 항목 Ly\frac {\partial L}{\partial y}의 계산 과정은 생략하고 결과만 적으면 아래와 같습니다.

Lyi=pi,foricLyi=pi1,fori=c \begin{alignat}{4} \frac {\partial L}{\partial y_i}& = p_i &{, \quad for \quad i \ne c} \\ \frac {\partial L}{\partial y_i}& = p_i - 1 &{, \quad for \quad i = c} \end{alignat}

이제 경사도 계산에 필요한 모든 항목을 구할 수 있게 되었습니다.

  1. 학습 파라미터 Whh,WhyW_{hh}, W_{hy}
  2. 입력 데이터 x0,x1,x2x_0, x_1, x_2
  3. 은닉 상태 h1,h0,h1,h2h_{-1}, h_0, h_1, h_2
  4. 출력 결과 pp

6.2. 반복 수행

비용 함수의 값이 최솟값에 가까워지도록 아래의 과정을 수행합니다.

  1. 지정한 epoch 수만큼 반복
    1. 텍스트의 수만큼 반복
      1. 예측 및 오류 계산
        1. 오류 역전파 과정에서 사용하기 위하여 x0,x1,x2x_0, x_1, x_2 보관
        2. t=0,1,2t = 0, 1, 2에 대하여 수식 (1)을 적용
        3. 오류 역전파 과정에서 사용하기 위하여 h0,h1,h2h_0, h_1, h_2 보관
        4. 위의 결과로 얻은 h2h_2에 대하여 수식 (2), (3)을 적용
        5. 수식 (4)를 통해서 오류 계산
      2. 오류 역전파
        1. 수식 (36), (37) 계산
        2. 수식 (5) ~ (8)로 비용 함수의 WhyW_{hy}, byb_y에 대한 경사도 계산
        3. t=2,1,0t = 2, 1, 0에 대하여 수식 (18) ~ (35)로 비용 함수의 WxhW_{xh}, WhhW_{hh}, bhb_h에 대한 경사도 계산
      3. 파라미터 조정
        Why=lr×LWhyby=lr×LbyWxh=lr×LWxhWhh=lr×LWhhbh=lr×Lbh \begin{alignat}{4} W_{hy}& -= l_r \times \frac {\partial L}{\partial W_{hy}} \\ b_{y}& -= l_r \times \frac {\partial L}{\partial b_{y}} \\ W_{xh}& -= l_r \times \frac {\partial L}{\partial W_{xh}} \\ W_{hh}& -= l_r \times \frac {\partial L}{\partial W_{hh}} \\ b_{h}& -= l_r \times \frac {\partial L}{\partial b_{h}} \\ \end{alignat}
  • lrl_r은 학습 속도
  • 입력 텍스트의 단어 개수는 텍스트별로 다른 값일 수 있으므로 단어 순서에 따라 매기는 인덱스 tt의 크기도 달라질 수 있습니다.

7. 새로운 텍스트의 정서 분류

새로운 텍스트가 4개의 단어로 이루어져 있는 경우를 예로 들어 정서를 분류해 봅니다.

  1. t=0,1,2,3t = 0, 1, 2, 3에 대하여 수식 (1)을 적용
  2. 위의 결과로 얻은 h3h_3에 대하여 수식 (2), (3)을 적용
  3. p0p_0(부정적), p1p_1(긍정적) 중에서 큰 값의 분류를 채택

Written with StackEdit.

가설 검정 학습 내용 요약

출처: 위키백과 통계적 추론 추론 통계 또는 추론 통계학(inferential statistics)으로 불린다.  기술 통계학(descriptive statistics)과 구별되는 개념 도수 확률(frequency probability)과 사전 확률(...