colly

Colly 是一个为 Go 语言设计的高效且优雅的网页抓取和爬虫框架。它提供了简洁的接口，支持快速（单核上每秒超过1000次请求）的数据抓取与处理，具备自动化的 cookie 和会话管理、请求延迟控制及最大并发数限制等功能，并支持同步、异步和平行抓取模式。此外，Colly 还集成了缓存机制、非Unicode响应编码自动化、Robots.txt遵循以及分布式抓取等特性。适用于需要从网站中提取结构化数据的各种场景，如数据挖掘、信息归档或内容分析等任务。