CLIF-Co-Orchestrating-LLM-Inference-Serving-and-Fine-tuning.

CLIF是一个用于同时运行PEFT微调和在线大语言模型推理的系统。它通过维护一个具有`SERVING`、`IDLE`和`COMBINED`模式的状态化副本池，利用空闲资源进行联邦适配器更新，确保在不影响服务的情况下执行微调任务。该系统包括主动调度器、微调启动器、协调器以及双适配器路径等组件，支持结构化的性能度量。适用于需要持续学习与推理并行处理的GPU服务器或研究集群环境，特别是在对模型进行实时优化的同时保持高效的服务响应场景下表现出色。