mishushakov

llm-scraper

mishushakov

Turn any webpage into structured data using LLMs

AI 简介

LLM Scraper 是一个基于 TypeScript 的网页结构化数据提取库,利用大语言模型(LLM)从任意网页中自动抽取符合预定义 Schema 的结构化信息。核心功能包括多模型支持(GPT、Claude、Gemini、Llama 等)、Zod/JSON Schema 驱动的强类型校验、Playwright 驱动的浏览器自动化、六种内容加载模式(HTML、Markdown、纯文本、截图等)及流式输出。适用于需高灵活性与语义理解能力的网页数据采集场景,如竞品监控、内容聚合、动态网站信息抽取等,尤其适合传统规则式爬虫难以处理的复杂、非标准或前端渲染型页面。

TypeScript
MIT License
6.8k
Stars
450
Forks
33
Watchers
3
Issues

Star 增长

今日0
近 7 天0
近 30 天+10
综合评分64.96
默认分支main