CLIF-Co-Orchestrating-LLM-Inference-Serving-and-Fine-tuning.

CLIF 是一个面向参数高效微调（PEFT）的持续学习与推理联合框架，支持在在线大语言模型服务过程中动态穿插轻量级适配器训练。其核心功能包括：基于服务负载感知的副本状态管理（SERVING/IDLE/COMBINED）、请求调度与批处理边界控制、PEFT训练轮次准入决策、双适配器并行路径（服务中更新影子适配器），以及细粒度运行时指标监控。技术上采用Python实现，依赖CUDA加速的PyTorch，支持LoRA等PEFT方法，并通过显式GPU映射适配多卡/多节点部署。适用于需要在生产级LLM服务间隙中持续优化适配器、兼顾低延迟响应与模型演进的研究型GPU集群环境。