페이지

2025년 6월 22일 일요일

[트랜스포머 이해] Multi-head Self-Attention

Attention 함수


Q, K, V 얻기


Attention Score Matrix 계산


Attention Value 계산



댓글 없음:

댓글 쓰기

[트랜스포머 이해] Attention 함수

Attention 함수 정의 3.2Attention An attention function can be described as mapping a query and a set of key-value pairs to an output, where the ...