LogicPipe

LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目，支持离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用。其核心功能包括将模型切分为多个 stage 并在不同设备上并行执行，通过 DAG 调度器管理带依赖关系的任务，以及复用上下文以提高推理效率。此外，LogicPipe 还支持多种量化加载参数，如 `--load_in_4bit` 和 `--load_in_8bit`，适用于显存有限的环境。该项目适合需要在多 GPU 或多设备上进行 LLM pipeline parallel 推理实验的场景，尤其适用于研究依赖型推理任务的调度与并行解码。