pd-bridge

pd-bridge 是一个支持异构预填充与解码的 LLM 推理桥接系统，实现 CUDA 加速的 vLLM 预填充（运行于 NVIDIA DGX Spark）与 Metal 加速的 oMLX 解码（运行于 Apple M3 Ultra Mac Studio）在普通 10GbE 网络上的协同推理。核心特点是跨框架、跨硬件、跨量化格式（FP8 vs MXFP4）的 KV 缓存序列化与传输，无需 RDMA 或专用互联，保持解码吞吐稳定（23–25 tok/s），显著缩短超长提示（最高 100 万+ token）端到端延迟。适用于需兼顾大规模预填充算力与低功耗/本地化解码的混合部署场景，如科研级超长上下文服务、边缘协同推理原型验证。