AutoMegaKernel
RightNow-AI
An agent harness that compiles a model into one provably-correct, self-retargeting CUDA megakernel and self-tunes it past cuBLAS at batch-1 LLM decode, paper: https://arxiv.org/abs/2606.09682
AI 简介
AutoMegaKernel 是一个面向大语言模型推理优化的 GPU 代理式编译框架，将模型前向传播全过程静态融合为单个可验证正确、自适配架构的 CUDA megakernel，并支持无人值守的自动调优。其核心特点是基于形式化验证（死锁/竞态检测）与 eager 执行比对的正确性保障机制，结合调度空间搜索与 HBM 带宽建模，在 batch-1 场景下实现 int8（W8A16）精度下超越 cuBLAS 的端到端推理性能。主要适用于数据中心级 LLM 实时推理服务，尤其在 L4、L40S、A10G 等 inference-class GPU 上表现显著优势。
Python
MIT License101
Stars
10
Forks
3
Watchers
1
Issues
Star 增长
今日0
近 7 天0
近 30 天+4
综合评分43.52
默认分支main