[논문 리뷰] FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
“FlashAttention-3” 논문은 Jay Shah, Ganesh Bikshandi, Ying Zhang, Vijay Thakkar, Pradeep Ramani, 그리고 Tri Dao 등이 공동으로 제안한 연구로, 트랜스포머 모델에서 긴 시퀀스를 처리할 때 어텐션 메커니즘의 ...
최근 포스트
행렬 곱의 연산 방식
행렬곱은 대규모 AI 모델에서 계산 비용의 주요 병목 지점으로, 이를 효율적으로 처리하기 위해 병렬화가 필수적입니다. 이번 포스팅에서는 블록 단위로 행렬곱을 수행하는 두 가지 방식을 살펴봅니다. 일반적은 행렬 곱은 다음과 같습니다.
[논문 리뷰] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
“FlashAttention-2” 논문은 프린스턴 대학교 박사 과정 학생 Tri Dao가 제안한 연구로, 트랜스포머 모델에서 긴 시퀀스를 처리할 때 셀프 어텐션 메커니즘이 가지는 메모리 및 계산 비효율성 문제를 극복하고자 개발되었습니다. 이 논문은 2023년 arXiv에 처음 공개...
[논문 리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
“FlashAttention” 논문은 스탠포드 대학교 박사 과정 학생인 Tri Dao가 Transformer 모델에서 긴 시퀀스를 처리할 때 self-attention 메커니즘이 메모리와 계산 효율성 면에서 비효율적인 문제를 해결하고자 제안되었습니다. 해당 연구는 2022년 5월에...
Online Softmax 개선: FlashAttention-2
FlashAttention-2가 발표되면서 기존 FlashAttention에 비해 성능이 크게 향상되었습니다.