0xMassi

webclaw

0xMassi

Fast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.

AI 简介

webclaw 是一个面向大语言模型(LLM)优化的本地优先网页内容提取工具,专注于将网页高效转化为干净、结构化的 Markdown、JSON 等 LLM 可用格式。基于 Rust 构建,支持 CLI 命令行、REST API 和 MCP 协议服务器,具备抗反爬能力(如 TLS 指纹模拟)、HTML 清洗与语义化提取能力,并可完全离线或自托管部署。适用于 RAG 数据预处理、AI Agent 实时网页理解、私有知识库构建等对数据质量、隐私和可控性要求较高的场景。

Rust
GNU Affero General Public License v3.0
1.7k
Stars
181
Forks
10
Watchers
1
Issues

Star 增长

今日0
近 7 天0
近 30 天+105
综合评分19.78
默认分支main