jhao104

proxy_pool

jhao104

Python ProxyPool for web spider

AI 简介

ProxyPool 是一个用于网络爬虫的代理IP池项目,主要功能包括定时从互联网上采集免费代理并验证其有效性后入库,以及定期验证已入库代理以确保其可用性。该项目支持通过API和命令行界面两种方式进行访问,并允许用户扩展代理来源以提高代理池的质量与数量。采用Python语言编写,并利用Redis作为存储介质。适用于需要频繁更换IP地址以避免被目标网站封锁的爬虫场景中。

Python
MIT License
23.4k
Stars
5.4k
Forks
435
Watchers
290
Issues

Star 增长

今日+3
近 7 天+18
近 30 天+66
综合评分91.6
默认分支master