cake

cake 是一个用 Rust 编写的多模态 AI 推理服务框架，支持在移动、桌面和服务器设备上分布式运行大模型。其核心能力包括跨异构设备（iOS/Android/macOS/Linux/Windows）自动分片 Transformer 层的多节点推理、统一支持文本生成（如 Qwen）、图像生成（Stable Diffusion/FLUX）和语音合成（VibeVoice TTS），并提供 OpenAI 兼容 REST API、Web UI 与轻量级 CLI。基于 CUDA/Metal/Vulkan/CPU 多后端，模型可直接从 Hugging Face 拉取并共享缓存。适用于边缘协同推理、资源受限环境下的大模型部署及跨平台 AI 应用集成场景。