vibe-serve

VibeServe 是一个利用AI智能体自动生成定制化大语言模型（LLM）服务系统的框架。它通过多智能体协同优化环，为特定模型、硬件平台与工作负载组合自动合成端到端的LLM服务栈，涵盖调度、缓存、运行时逻辑、正确性验证及性能调优等模块。系统采用外层搜索策略与内层角色分工（实现者/准确度裁判/性能评估者）的双环架构，支持对vLLM等基准的对标，并在预测解码、混合缓存、流式ASR、结构化输出、多模态推理及Apple Silicon部署等非标准场景中展现优势。适用于需高度适配特定部署环境的LLM服务研发与优化场景。