openlake

OpenLake 是一个面向大语言模型（LLM）推理与训练场景的高性能分布式对象存储引擎。它基于 Rust 和 io_uring 构建，采用线程绑定、零拷贝数据路径设计，支持 S3 协议兼容（SigV4 认证、多版本、分段上传等），并实现 MinIO 兼容的磁盘格式与 SIMD 加速的纠删码。核心目标是缩短 NVMe 存储到 GPU 显存的数据通路，减少 CPU 和页缓存介入，为 LLM 训练/服务提供高吞吐、低延迟的存储底座。适用于 GPU 集群密集型 AI 基础设施，如大规模模型微调、在线推理服务及分布式训练数据加载场景。