
proxy_pool
jhao104
Python ProxyPool for web spider
AI 简介
ProxyPool 是一个用于网络爬虫的代理IP池管理工具,旨在自动采集、验证和维护可用的HTTP/HTTPS代理IP。其核心功能包括定时抓取公开代理源、多线程验证代理可用性、基于Redis的高效存储与调度,并提供RESTful API及命令行接口供调用。项目支持Python 2.7至3.11,具备良好的可扩展性,允许用户自定义代理采集规则。适用于需要高频更换IP以规避反爬限制的Web数据采集场景,如舆情监控、价格比对、搜索引擎数据获取等。
Python
MIT License23.5k
Stars
5.4k
Forks
436
Watchers
291
Issues
Star 增长
今日0
近 7 天0
近 30 天+42
综合评分74.2
默认分支master