llm-d-router

llm-d Router 是一个面向大语言模型（LLM）推理服务的智能流量路由网关，负责根据实时负载、KV缓存局部性、请求优先级等信号进行动态请求分发。其核心是基于 Envoy ext-proc 协议集成的 Endpoint Picker（EPP）引擎，支持与 Kubernetes Gateway API 兼容的 L7 负载均衡器协同工作，并提供 InferenceObjective 和 InferenceModelRewrite 等声明式 API 实现精细化流量调度与模型重写。适用于多模型、多租户、高并发的 LLM 推理服务平台，尤其适合在 Kubernetes 环境中构建可扩展、可观测、可策略化的 AI 推理基础设施。