Sentdex

minion

Sentdex

A tiny single-file coding agent for self-hosted models (llama.cpp / vLLM / SGLang).

AI 简介

Minion 是一个轻量级单文件本地编码智能体,专为自托管大模型(如 llama.cpp、vLLM、SGLang)设计,聚焦于极致上下文精简。其核心特点是将初始系统提示+工具定义压缩至约 625 tokens,避免主流框架动辄 20K–50K token 的上下文冗余,显著提升本地推理速度、注意力质量与成本效率;支持 OpenAI 兼容 API,具备代码读写、编辑及 Shell 命令执行能力,并内置对非原生工具调用(如 XML 标签解析)和流式 reasoning 输出的鲁棒 fallback。适用于资源受限的本地开发环境、边缘设备部署及需低延迟交互的编程辅助场景。

Python
MIT License
264
Stars
31
Forks
4
Watchers
2
Issues

Star 增长

今日0
近 7 天0
近 30 天+10
综合评分45.52
默认分支master