LocalAIHotSwap

LocalAIHotSwap 是一个为 llama.cpp 提供模型热切换能力的轻量级代理控制器，支持在不中断对话上下文的前提下动态更换本地 GGUF 模型。其核心功能包括：通过 llama-server 的 /models/load 和 /models/unload 接口管理模型生命周期；保持预设 prompt 和历史消息跨模型持久；采用 zero_overlap 切换策略以最小化 VRAM 峰值占用；提供 OpenAI 兼容的 /v1/chat/completions 接口及 SSE 流式响应。适用于本地多模型实验、低显存设备（如消费级 GPU）上的交互式 AI 应用开发与快速迭代场景。