
openlake
openlake-project
High performance storage system for LLM Inference and GPU Training. Feed your GPUs at blazing fast speeds
AI 简介
OpenLake 是一个专为GPU工作负载设计的高性能存储解决方案,能够以极快的速度将数据从存储传输到GPU内存。该项目采用Rust语言编写,并基于`io_uring`技术构建,确保了单个核心上运行的请求不会跨越核心边界,从而减少CPU开销并提高数据传输效率。此外,它支持GPUDirect Storage和RDMA技术(虽然还在开发中),旨在实现从NVMe直接到GPU显存的数据流动路径,避免通过主机内存或页面缓存进行中转。OpenLake兼容S3协议及MinIO磁盘布局格式,易于集成现有基础设施,同时具备分布式与纠删码特性,适用于大规模AI模型训练和推理场景中的高效数据访问需求。
Rust
Apache License 2.01.3k
Stars
194
Forks
2
Watchers
50
Issues
Star 增长
今日0
近 7 天+555
近 30 天+796
综合评分84.87
默认分支main