anansi
mdowis
A self-healing web scraper built for hostile sites: selectors repair themselves, browser rendering kicks in when needed, and Chrome TLS fingerprinting evades bot detection. Ships with an MCP server so any LLM can drive a full crawl through conversation.
AI 简介
Anansi 是一个面向对抗性网站的自愈型网络爬虫，专为长期稳定抓取易变、反爬严格的网页而设计。其核心能力包括：基于置信度评分与多策略（模糊类名匹配、文本正则、结构上下文、XPath）的 CSS 选择器自动修复；按需无缝切换至隐身 Playwright 浏览器渲染 SPA 页面；在 TLS/HTTP/2 层精确模拟 Chrome 指纹以绕过 Cloudflare/Akamai 等企业级 Bot 检测；结合 JSON-LD/Open Graph 等结构化标记优先提取数据；以及支持 MCP 协议，允许任意大语言模型通过对话驱动完整爬取流程。适用于金融舆情监控、竞品价格追踪、学术数据采集等需高鲁棒性、低维护成本的长期 Web 数据采集场景。
Python
Apache License 2.098
Stars
18
Forks
1
Watchers
1
Issues
Star 增长
今日0
近 7 天0
近 30 天+1
综合评分43.94
默认分支main