web-llm

WebLLM 是一个高性能的浏览器内大语言模型（LLM）推理引擎，支持在无服务器依赖的纯前端环境中运行开源语言模型。其核心基于 WebGPU 加速与 WebAssembly 优化，提供完整的 OpenAI API 兼容接口（含流式响应、JSON 模式、logit 控制等），并内置对 Llama 3 等主流模型的支持。项目强调端侧隐私保护与跨平台硬件加速，适用于需离线运行、数据不出浏览器的 AI 应用场景，如隐私敏感的聊天助手、本地文档问答、教育工具及边缘端轻量 AI 服务。