
Camelid
timtoole02
Camelid: a Rust-native local inference backend with evidence-gated model compatibility.
AI 简介
Camelid 是一个面向本地部署的 Rust 原生大语言模型推理后端,专为 GGUF 格式模型设计。它通过手写 AArch64 汇编与 NEON SIMD 内核(如 smmla、sdot)实现硬件级优化,在 Apple Silicon 上达成预填充与解码阶段的极致吞吐与低延迟;采用证据驱动的模型兼容性验证机制,确保 token 级数学等价性。适用于对安全性、确定性和硬件利用率要求高的边缘/桌面端 LLM 推理场景,尤其适合 macOS 本地部署及 Thunderbolt 连接的多机分布式推理。
Rust
MIT License109
Stars
14
Forks
5
Watchers
6
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分43.53
默认分支main