WillyEverGreen

acon

WillyEverGreen

The intelligence layer for any web scraper. Pair with Scrapling, Playwright, or httpx to crawl smarter.

AI 简介

Acon 是一个面向网络爬虫的站点智能分析引擎,用于在数据提取前自动识别和建模网站结构拓扑。它通过跟踪页面间的信息增益,动态判断何时已充分学习目标站点的‘结构DNA’(如产品页、分类页等模板类型),从而提前终止爬取,显著减少冗余请求。核心能力包括结构分类(如 deep_uniform、thin)、拓扑采样与智能停止机制,可无缝集成 Scrapling、Playwright 或 httpx 等爬虫工具。适用于价格监控、电商比价、内容聚合等需高频、稳定、低开销抓取结构化网站的场景。

Python
MIT License
41
Stars
1
Forks
38
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天+1
综合评分41
默认分支main