anansi
mdowis
A self-healing web scraper built for hostile sites: selectors repair themselves, browser rendering kicks in when needed, and Chrome TLS fingerprinting evades bot detection. Ships with an MCP server so any LLM can drive a full crawl through conversation.
AI 简介
Anansi 是一个专为对抗性网站设计的自愈网络爬虫。它能够自动修复CSS选择器，必要时切换到浏览器渲染，并通过模仿Chrome的TLS指纹来规避机器人检测。其核心功能包括自愈解析、结构化数据提取、TLS/HTTP-2指纹模拟、自动浏览器升级、反机器人和Cloudflare绕过以及自适应速率限制。这些特性使得Anansi非常适合在频繁更改布局或具有复杂反爬机制的网站上进行数据抓取，确保长期稳定运行。此外，该项目还提供了一个MCP服务器，允许任何大型语言模型通过对话驱动整个爬取过程。
Python
Apache License 2.093
Stars
17
Forks
1
Watchers
0
Issues
Star 增长
今日0
近 7 天+3
近 30 天+5
综合评分45.77
默认分支main