ion-elgreco

rivers

ion-elgreco

Rivers is an orchestration platform for data and ML pipelines, written in Rust for native performance with a Python-first development experience.

AI 简介

Rivers 是一个面向数据与机器学习流水线的编排平台,以 Rust 实现核心调度与图解析,提供 Python 优先的开发接口。其核心功能包括基于数据资产(Asset)的自动依赖图解析、多维分区支持(时间窗口/动态/多维)、插件化 IO(Delta Lake、pickle、内存)、Kubernetes 原生集成(CRD + Operator)、嵌入式 SurrealDB 存储及单二进制本地开发体验。所有热路径(图解析、调度、分区映射)均运行于 Rust,Python 仅作为声明层,保障高性能与低延迟。适用于中等规模数据工程团队构建可维护、可观测、可扩展的数据与 ML 流水线,尤其适合需兼顾开发敏捷性与生产可靠性的场景。

Rust
GNU Affero General Public License v3.0
79
Stars
6
Forks
64
Watchers
30
Issues

Star 增长

今日0
近 7 天0
近 30 天+3
综合评分42.84
默认分支main