smallpond

smallpond 是一个基于 DuckDB 和 3FS 构建的轻量级数据处理框架。它利用 DuckDB 提供高性能的数据处理能力，支持 PB 级别数据集的扩展，并且无需维护长时间运行的服务即可轻松操作。此框架适用于需要高效处理大规模数据集的场景，如大数据分析、机器学习预处理等。通过简单的 Python API，用户可以快速加载、处理并保存数据，同时保持较低的运维成本。