TileKernels

TileKernels 是一个面向大语言模型（LLM）加速的高性能 GPU 核函数库，基于领域专用语言 TileLang 开发。它提供 MoE 路由（Top-k 专家选择、Token-Expert 映射）、FP8/FP4/E5M6 量化（支持融合 SwiGLU+量化）、批处理转置、Engram 门控（含 RMSNorm 与梯度规约）、Manifold HyperConnection（Sinkhorn 归一化等）等核心算子，并封装为 PyTorch 可微分模块。所有核函数针对 NVIDIA Hopper/Blackwell 架构（SM90/SM100）深度优化，在计算强度与内存带宽极限下运行。适用于 LLM 训练与推理中的 MoE 模型、低比特量化部署及高性能算子定制场景。