LogicPipe

LogicPipe 是一个面向边缘多设备协同的 LLM 推理框架，支持跨 GPU 或边缘设备的流水线并行推理。其核心功能包括：基于计算/通信/内存建模的离线管线规划、按 stage 切分并分布式加载模型权重、依赖感知的 DAG 任务调度，以及跨推理单元的上下文 KV cache 复用。项目集成 Medusa/MBSD 等加速解码策略，并兼容 4-bit/8-bit 量化加载，显著提升多设备资源利用率与长序列推理吞吐。适用于多卡服务器、边缘集群等受限资源环境下的 LLM 流水线并行实验、结构化推理任务调度及上下文共享型生成研究。