cake

Cake 是一个用 Rust 编写的多模态 AI 推理服务器，支持在单个节点或异构设备集群上运行模型。其核心功能包括文本生成、图像生成和语音合成，并支持多种平台（Linux、macOS、Windows、iOS 和 Android）以及不同硬件后端（CUDA、Metal、Vulkan 和 CPU）。此外，Cake 提供了 OpenAI 兼容的 REST API 以及内置的 Web UI 和 TUI 聊天客户端，方便用户进行交互。它还支持通过零配置 mDNS 聚类或多节点手动拓扑来分片变压器块，从而在多个设备上高效运行大型工作负载。此项目适用于需要跨平台、多模态 AI 推理能力的应用场景，特别是那些希望利用现有硬件资源来扩展 AI 计算能力的开发者和企业。