mini-sglang

Mini-SGLang 是一个轻量级、高性能的大语言模型（LLM）推理框架，旨在以精简透明的方式实现现代 LLM 服务系统的核心机制。它基于 SGLang 设计，仅约 5000 行类型标注清晰的 Python 代码，支持 Radix Cache、Chunked Prefill、Overlap Scheduling、Tensor Parallelism，并集成 FlashAttention 和 FlashInfer 等优化内核，兼顾高吞吐与低延迟。适用于需要快速理解 LLM 推理调度原理的研究教学场景，以及对部署简洁性与可调试性有较高要求的中小规模推理服务。