3FS

Fire-Flyer File System (3FS) 是一个高性能分布式文件系统，专为应对AI训练和推理工作负载的挑战而设计。它利用现代SSD和RDMA网络提供了一个共享存储层，简化了分布式应用的开发。3FS采用解耦架构，结合数千个SSD的吞吐量和数百个存储节点的网络带宽，实现了数据访问的本地性透明；通过实现CRAQ协议确保强一致性，使应用程序代码简单易懂；并提供了基于事务性键值存储的状态无元数据服务，使用广泛熟知的文件接口。该系统适用于多种场景，包括数据准备、数据加载器、检查点以及推断时的KV缓存等，尤其适合需要高效处理大规模数据集的AI训练与推理任务。