gpt-crawler

BuilderIO/gpt-crawler 是一个用于爬取网站内容以生成知识文件的工具，进而根据这些文件创建自定义的GPT模型。该项目采用TypeScript编写，能够从一个或多个URL抓取信息，并将其转换为适合上传至OpenAI平台的知识文件格式。其核心功能包括配置灵活的爬虫设置（如起始URL、选择器等），支持本地运行及Docker容器化部署，且提供了API接口模式。此项目非常适合需要基于特定网站内容训练个性化聊天助手或问答系统的场景，比如企业内部文档、产品手册等的专业知识库构建。