mlc-ai

tirx-kernels

mlc-ai

ML kernels and benchmarking infrastructure written in TIRx

AI 简介

tirx-kernels 是一个基于 TIRx 编写的高性能 GPU 算子库,专注于支持新一代 AI 加速硬件(如 Hopper 架构)的混合精度矩阵乘法与注意力机制核心实现。它提供 fp16/bf16、fp8(分块)、nvfp4、tf32 等多种低精度 GEMM 及 FlashAttention-4 等定制化内核,并内置统一的发现、测试与基准测试基础设施。所有内核通过 TIRx 编译,依赖 TVM 生态与 PyTorch CUDA 运行时,支持动态配置与可复现性能评估。适用于大模型推理加速、算子性能对比研究及低精度计算框架底层开发等场景。

Python
Apache License 2.0
59
Stars
4
Forks
51
Watchers
2
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分42.1
默认分支main