smallpond

smallpond 是一个基于 DuckDB 和 3FS 的轻量级数据处理框架，专为高性能、分布式场景下的大规模结构化数据处理而设计。它融合 DuckDB 的向量化执行能力与 3FS 的分布式文件系统支持，提供类 SQL 操作（如 partial_sql）、动态数据重分区（repartition）及免服务部署的本地/集群混合计算模式。支持 PB 级数据处理，适用于离线 ETL、批式分析、科研数据预处理等无需长期运行服务的中大型数据流水线场景。