vortex

Vortex 是一个高性能的列式文件格式和工具包，专为快速数据处理而设计。其核心功能包括极快的数据读写速度（相比现代Apache Parquet，随机访问读取速度快100倍，扫描速度快10-20倍，写入速度快5倍），同时保持相似的压缩比；支持广泛的表结构与零拷贝/零解析元数据；以及高度可扩展的架构，允许用户自定义编码系统、类型系统、压缩策略及布局策略。此外，Vortex与多种流行的数据处理库如Arrow、DataFusion、DuckDB等无缝集成。该项目采用Rust语言编写，并遵循Apache 2.0许可证，在Linux基金会的支持下进行中立治理。适用于需要高效存储与分析大规模数据集的应用场景，特别是在基于对象存储构建数据系统的背景下。