context-runtime

Context Runtime 是一个面向大语言模型（LLM）上下文的查询规划器，用于动态决策模型应接收哪些输入信息以提升响应质量与效率。它支持上下文检索、压缩、路由与验证的自动化编排，生成可追溯、可重放的执行计划，并基于实际效果（如准确率、奖励值）持续优化策略。项目采用离线优先设计，内置多租户适配能力（如RAG、SOC告警分析、智能客服等），通过轻量Python实现，兼容工具调用与可观测性导出（Langfuse/OpenTelemetry）。适用于需在推理前智能筛选/裁剪上下文的AI应用系统，尤其适合对效果可衡量、策略可迭代的生产级LLM服务进行上下文治理与效能优化。