MediaCrawler

MediaCrawler 是一款面向中文主流自媒体平台的公开数据采集工具，支持小红书、抖音、快手、B站、微博、百度贴吧、知乎等平台的笔记/视频/帖子及一级、二级评论的结构化抓取。其核心技术基于 Playwright 浏览器自动化实现登录态持久化与动态参数提取，规避 JS 逆向，降低开发门槛；具备关键词搜索、指定ID爬取、创作者主页采集、IP代理池集成及评论词云生成等能力。适用于学术研究、舆情监测、内容分析等合规的数据获取场景，强调学习用途与非商业使用。