Sophomoresty

bpc-fetch

Sophomoresty

Bypass paywall sites — search, discover, and batch fetch articles as Markdown. 936 sites supported.

AI 简介

bpc-fetch 是一个命令行工具,用于绕过付费墙批量抓取新闻网站的全文内容并保存为 Markdown 格式。它支持 936 个覆盖全球 40 多国的主流媒体站点,复用 Bypass Paywalls Clean 的绕过策略(如 User-Agent 欺骗、搜索引擎爬虫模拟、Referer 控制、Playwright JS 拦截及 Archive.org 回退),具备自动降级的容错机制和 RSS/sitemap/首页渲染等文章发现能力。适用于学术研究、内容归档、媒体监测等需长期、批量获取受限新闻原文的离线场景。

JavaScript
MIT License
178
Stars
54
Forks
37
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天+1
综合评分45.32
默认分支main