Triton에 대한 전반적 이해

Triton은 MIT Julia LAB 에서 시작된 프로젝트입니다. 핵심 개발자인 Pilippe Tillet은 다음과 같은 비전을 가지고 Triton을 설계했습니다.

누구나 손쉽게 고성능 GPU 커널을 작성할 수 있어야 한다.

이 비전은 다음 논문에서 구체화 되었으며, 딥러닝에서 자주 사용하는 커널을 타일(Tile) 단위로 구성하고, 이를 Python 기반 DSL로 표현하는 방법을 다룹니다. 또한 LLVM을 통한 JIT 컴파일과 자동 최적화 기법(메모리 패턴, Vectorization 등)을 설명하고 있습니다.

이후 OpenAI가 주도적인 개발 주체로 참여하면서 Triton은 실용적이고 강력한 GPU 커널 언어로 급성장하게 됩니다.

Triton 백엔드 확장과 하드웨어 기업들의 참여

Triton은 원래 NVIDIA GPU를 대상으로 설계되었지만, 현재는 다양한 하드웨어 플랫폼을 지원하기 위한 백엔드 개발이 진행 중입니다. (#1643)

현재 기업에서 실험적으로 진행중인 프로젝트들을 아래에 소개합니다.

• AMD
  • triton-mlir
• Intel
  • intel-xpu-backend-for-triton
  • triton-cpu
• PyTorch
  • triton-cpu

Triton Conference

Triton 컨퍼런스는 고성능 커널 생성, 사용자 정의 컴파일, 딥러닝을 위한 저수준 최적화 기술에 관심 있는 연구자, 개발자, 실무자들이 모여 지식을 나누는 비공식적 기술 커뮤니티 행사입니다.

이 컨퍼런스에 소개된 일부 프로젝트를 아래에 소개합니다.

• triton-shared

• The Exo Language

Reference

• Adding Triton Backend for Aten operators #139602
• FlagGems
• unsloth
• Liger Kernel