Fluxon
Tele-AI
Fluxon is a distributed data acceleration plane built in Rust for AI-native systems. It features three standardized interfaces: KV/RPC for inference KV / latent Cache, MQ for state passing in training and data pipelines, and FS for caching and S3-compatible access to model files and checkpoints.
AI 简介
Fluxon 是一个面向 AI 原生系统的分布式数据加速平面，专为缓解大模型训练与推理中的数据平面瓶颈而设计。它提供标准化的三类接口：KV/RPC（支持推理 KV Cache 与隐状态缓存）、MQ（支撑训练与数据流水线中的状态传递）、FS（提供模型文件与检查点的本地缓存及 S3 兼容访问）。基于 Rust 构建，深度融合 RDMA、共享内存通信与多集群协同能力，支持跨节点缓存复用、动态弹性扩缩与统一资源治理。适用于大规模分布式 AI 训练、低延迟推理服务及异构资源池间高效数据流转场景。
Rust
Other88
Stars
5
Forks
51
Watchers
7
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分42.33
默认分支main