scrapy

Scrapy 是一个用于 Python 的高性能网页爬取与数据提取框架。它提供异步网络请求、自动处理 robots.txt、XPath/CSS 选择器解析、中间件扩展、去重调度及结构化数据导出等核心功能，支持分布式部署与定制化爬虫逻辑。基于 Twisted 异步引擎，具备高并发、低资源占用和稳定可维护的特点。适用于大规模网页内容采集、搜索引擎索引构建、价格监控、公开数据集生成等需要可靠、可扩展爬虫能力的场景。