FastFlowLM

Run LLMs on AMD Ryzen™ AI NPUs in minutes. Just like Ollama - but purpose-built and deeply optimized for the AMD NPUs.

AI 简介

FastFlowLM 是一个专为 AMD Ryzen™ AI NPU（XDNA2 架构）优化的轻量级大语言模型（LLM）推理运行时。它支持文本、视觉、音频、嵌入及 MoE 模型，提供最高 256k 上下文长度，安装仅需 20 秒、体积仅 17 MB，无需 GPU 即可本地高效运行。基于 C++ 实现，深度适配 Strix/Halo/Kraken/Gorgon Point 等 Ryzen AI 芯片，强调功耗效率（较 GPU 节能超 10 倍）与开箱即用体验。适用于边缘端、笔记本本地部署、低功耗 AI 应用开发及 NPU 硬件能力验证等场景。