
Camelid
timtoole02
Camelid: a Rust-native local inference backend with evidence-gated model compatibility.
AI 简介
Camelid 是一个基于 Rust 的本地推理引擎,专为GGUF语言模型设计。其核心功能包括通过直接在AArch64汇编和向量化NEON SIMD中编写底层数学内核来实现硬件饱和性能,确保在现代平台尤其是Apple Silicon macOS上达到最大速度和严格的信任保证。该项目特别适合需要高性能本地推理的应用场景,如在苹果M系列芯片的Mac设备上运行大规模语言模型。此外,它还支持通过高速接口如Thunderbolt 4桥接网络实现分布式集群扩展,从而进一步提高处理能力。
Rust
MIT License63
Stars
10
Forks
4
Watchers
0
Issues
Star 增长
今日0
近 7 天+29
近 30 天+31
综合评分60.72
默认分支main