ktransformers

KTransformers 是一个面向大语言模型（LLM）高效推理与微调的异构计算框架，支持 CPU-GPU 协同加速，并已扩展至 Ascend NPU 等硬件。其核心能力包括高性能 KT-Kernel 推理引擎（支持 AVX2、BF16/FP8 量化、专家调度）、与 LLaMA-Factory 深度集成的监督微调（SFT）和 DPO 对齐训练，以及对 DeepSeek-V4、GLM-5、Kimi-K2 系列、MiniMax-M2 等主流中文大模型的开箱即用支持。适用于资源受限的边缘设备部署、低成本云端训推一体化、以及研究者快速验证异构优化技术的场景。