crawlab

Crawlab 是一个基于 Go 的分布式网络爬虫管理平台，用于统一调度、监控和运维跨语言（Python/Node.js/Java/Go/PHP）及跨框架（Scrapy/Puppeteer/Selenium）的爬虫任务。其核心功能包括可视化任务编排、节点集群管理、爬虫状态实时监控、结果数据查看与导出，并支持通过 Docker 快速部署和 MongoDB 存储。平台采用主从架构，具备高可用性和水平扩展能力，适用于中大型企业或团队对多源、多协议、多技术栈爬虫作业进行集中化治理。