needle-rs

needle-rs 是一个轻量级 WebAssembly 运行时，用于在浏览器、Cloudflare Workers 和 Node.js 中本地运行 Needle 模型（26M 参数的工具调用 Transformer）。它支持 INT4 量化、safetensors 加载和 no-std 环境，无需后端服务或 API 密钥，单次前向传播即可将用户查询与工具列表映射为结构化 JSON 调用。核心特点是超小体积（258 KB WASM）、端侧/边缘侧推理、零依赖部署及高精度兼容性（560/560 token 精确复现）。适用于隐私敏感、低延迟、离线或资源受限场景下的轻量 AI 工具调用，如浏览器内智能助手、边缘自动化脚本、嵌入式设备 AI 前端等。