FlashRec

FlashRec 是一个专为生成式推荐（GenRec）设计的 CUDA 图推理引擎，将商品检索建模为语义 ID（SID）序列的生成过程。其核心功能包括：在 Trie 结构约束的商品目录上执行宽束搜索（beam width 50–512+，深度 3–5 步）、全流程 FP8 推理、端到端 CUDA Graph 捕获与复用，以及零非法 SID 率的严格约束解码。相比通用大模型推理框架，它显著提升高并发、宽束、短序列场景下的吞吐量与合规性。适用于电商、内容平台等需低延迟、高精度、目录受限的生成式推荐服务部署。