crawlkit

crawlkit 是一个用于本地优先爬虫存档的共享 Go 基础设施。它提供了包括 SQLite 数据库管理、TOML 配置默认值、JSONL/Gzip 文件打包、基于 Git 的快照共享、同步状态管理以及 CLI 输出辅助等功能，帮助开发者构建高效且可扩展的数据抓取工具。该项目特别适用于需要对数据进行本地存储和处理的场景，如个人或企业级的信息归档、数据分析等。其模块化设计使得 crawlkit 可以轻松集成到各种爬虫应用中，同时保持了良好的可维护性和安全性。