timtoole02

NanoCamelid

timtoole02

High-performance, Rust-native LLM inference engine for Raspberry Pi and ARM64.

AI 简介

NanoCamelid 是一个专为树莓派和ARM64架构设计的高性能Rust本地大语言模型推理引擎。它支持多种量化级别的GGUF文件加载与运行,并提供模型元数据和张量布局检查功能,能够在终端中进行聊天测试。该引擎特别针对低资源环境优化,自动选择适合硬件特性的内核以提高性能。适用于需要在边缘设备上高效运行自然语言处理任务的场景,如基于树莓派的家庭自动化、教育工具开发或轻量级AI应用部署。

Rust
MIT License
35
Stars
5
Forks
33
Watchers
0
Issues

Star 增长

今日+1
近 7 天+2
近 30 天+2
综合评分45.53
默认分支main