bpc-fetch

bpc-fetch 是一个命令行工具，用于从936个付费墙新闻网站抓取全文文章并保存为干净的Markdown格式。其核心功能包括通过模拟浏览器行为（如自定义User-Agent、Googlebot/Bingbot伪装、referer操纵等）来绕过付费墙限制，并且支持自动降级策略以确保内容获取。此外，它还提供了跨站点爬虫能力，能够根据RSS、站点地图或主页发现最近的文章，并批量下载。此工具适用于需要访问大量受限制内容的研究人员、记者或个人用户，尤其适合那些希望以结构化格式保存和分析信息的场景。