rocmfp4-llama

这是一个为AMD GPU平台优化的实验性4位量化格式（ROCmFP4）扩展项目，专用于llama.cpp框架。它定义了两种新型GGUF张量格式（Q4_0_ROCMFP4及其快速变体），集成ROCm/HIP内核与Vulkan着色器支持，并引入针对长上下文MTP推理的可复现回归保护机制。项目聚焦于在AMD RDNA3/3.5等架构上提升内存效率与解码速度，同时保障模型输出一致性。适用于本地部署大语言模型、需在AMD显卡上运行低比特量化推理的AI开发者与研究者，当前处于实验阶段，需配合特定ROCm驱动与硬件环境使用。