gpt-crawler

GPT Crawler 是一个基于 TypeScript 的网站内容爬取工具，用于从指定 URL（支持单页或多页）自动抓取结构化文本内容，并生成适配 OpenAI 自定义 GPT 或 Assistant 的知识文件（如 JSON 格式）。它支持选择器过滤、URL 匹配规则、最大页面数限制等配置，可本地运行、Docker 容器化部署或作为 API 服务调用。适用于需快速将企业文档、产品手册、官网内容等转化为私有 AI 助手知识库的场景，无需手动整理训练数据。