tessera
zengxiao-he
From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.
AI 简介
Tessera 是一个端到端的大型语言模型（LLM）知识蒸馏与高效推理引擎，专注于将大模型教师模型压缩为小规模学生模型，并提供高性能服务。其核心功能包括：基于 FSDP/ZeRO-3 的自研知识蒸馏训练框架、支持 GQA 和 RoPE 的 Triton/CUDA 自定义算子（FlashAttention、RMSNorm、SwiGLU）、分页式 KV 缓存、连续批处理调度器及推测解码机制；推理层由 Rust 网关驱动，支持 int8/AWQ/FP8 量化。适用于资源受限场景下的模型轻量化部署与研究验证，如边缘设备、本地开发环境或教学实验。
Python
Other510
Stars
5
Forks
5
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天+145
综合评分56.33
默认分支main