timtoole02

Camelid

timtoole02

Camelid: a Rust-native local inference backend with evidence-gated model compatibility.

AI 简介

Camelid 是一个基于 Rust 的本地推理引擎,专为GGUF语言模型设计。其核心功能包括通过直接在AArch64汇编和向量化NEON SIMD中编写底层数学内核来实现硬件饱和性能,确保在现代平台尤其是Apple Silicon macOS上达到最大速度和严格的信任保证。该项目特别适合需要高性能本地推理的应用场景,如在苹果M系列芯片的Mac设备上运行大规模语言模型。此外,它还支持通过高速接口如Thunderbolt 4桥接网络实现分布式集群扩展,从而进一步提高处理能力。

Rust
MIT License
63
Stars
10
Forks
4
Watchers
0
Issues

Star 增长

今日0
近 7 天+29
近 30 天+31
综合评分60.72
默认分支main