web-llm

WebLLM是一个高性能的浏览器内语言模型推理引擎，利用WebGPU进行硬件加速，直接在浏览器中运行而无需服务器支持。其核心功能包括全OpenAI API兼容性、结构化JSON生成以及广泛的模型支持，如Llama 3等。通过WebAssembly优化性能，WebLLM能够实现流式处理、JSON模式生成等功能。适用于需要在客户端侧进行隐私保护的同时享受GPU加速的各种场景，例如构建本地AI助手或开发基于浏览器的聊天应用。