vortex
vortex-data
An extensible, state-of-the-art framework for columnar compression, and the fastest FOSS columnar file format. Formerly at @spiraldb, now an Incubation Stage project at LFAI&Data, part of the Linux Foundation.
AI 简介
Vortex 是一个高性能、可扩展的开源列式文件格式与压缩框架，专为对象存储上的大规模数据分析优化。它提供远超 Apache Parquet 的随机读取（快100倍）、扫描（快10–20倍）和写入（快5倍）性能，同时保持相近压缩率；支持零拷贝 Arrow 兼容、可插拔编码与压缩策略、逻辑/物理分离设计及丰富延迟加载统计信息。适用于云原生数据湖、实时分析引擎、AI/ML 数据预处理等对低延迟与高吞吐有严苛要求的场景。
Rust
Apache License 2.03.1k
Stars
180
Forks
17
Watchers
214
Issues
Star 增长
今日0
近 7 天0
近 30 天+39
综合评分62.67
默认分支develop