llm-d-router

llm-d Router 是一个智能的推理请求入口点，旨在优化大型语言模型（LLM）的负载均衡、前缀缓存感知路由、请求优先级排序及流量控制。该项目采用Go语言开发，通过Endpoint Picker (EPP)与生产级代理如Envoy集成，利用ext-proc协议实时注入信号以优化请求分配。它支持独立模式部署或通过Kubernetes Gateway API与七层负载均衡器集成，包括自管理实例和云服务。适合需要高效管理和调度复杂推理任务的场景，特别是当面对多样化请求格式且需满足严格服务质量要求时。