crawlkit

crawlkit 是一个面向本地优先架构的爬虫归档基础设施工具集，提供可复用的 Go 语言组件，用于构建和管理离线优先的网页/内容抓取存档系统。核心功能包括：基于 SQLite 的存储抽象、TOML 配置管理、JSONL/Gzip 快照打包与增量导入、Git 支持的归档镜像同步、加密备份、嵌入向量生成与检索（兼容 OpenAI/Ollama/llama.cpp）、终端交互式归档浏览器（TUI）及跨平台调度支持。适用于需长期本地保存、版本化、可验证且可离线访问的爬取数据场景，如知识库归档、合规性存档或私有网络爬取治理。