needle-rs

needle-rs 是一个基于 Rust 和 WebAssembly 的运行时环境，用于在浏览器、Cloudflare Workers 和 Node.js 中执行 Needle，这是一个具有2600万参数的工具调用转换器。其核心功能包括将查询和工具列表映射为JSON调用，并且能够在多种环境中部署，如边缘计算、命令行界面以及Python等，无需后端支持或API密钥。得益于量化技术，整个模型仅需23MB存储空间，适用于对隐私有高要求且希望减少网络延迟与成本的应用场景，比如嵌入式设备上的AI应用或是需要快速响应的前端服务。