ROCmFPX

ROCmFPX 是一个面向 AMD 硬件的实验性低比特模型权重量化格式家族，为 llama.cpp 提供 2/3/4/6/8 位 GGUF 权重支持。其核心功能包括 CPU 参考实现，以及针对 AMD GPU 的 HIP/ROCm 和 Vulkan 加速内核；技术特点涵盖定制化码本（如 ROCmFP2 的 S40 {-4,-1,+1,+4} 码本）、双 UE4M3 缩放、细粒度块布局以降低内存带宽压力。适用于在 Radeon AI PRO 等 AMD GPU 上部署轻量级大语言模型推理，尤其适合对延迟和显存占用敏感的边缘或本地 AI 应用场景。