pyspider

pyspider 是一个基于 Python 的开源网络爬虫系统，支持可视化 Web UI、脚本编写、任务调度与分布式部署。核心功能包括：Python 脚本驱动的爬取逻辑、内置任务监控与项目管理界面、多后端存储（MySQL、MongoDB、Redis、Elasticsearch 等）、消息队列支持（RabbitMQ/Redis）、周期性抓取、优先级控制和 JS 页面渲染。适用于需要快速开发、调试和运维中等规模网页数据采集任务的场景，如舆情监测、价格比对、内容聚合等数据采集需求。