llamastash

A fast terminal native app (TUI) and CLI with init wizard for launching local LLMs with zero overhead

AI 简介

LlamaStash 是一个轻量级终端原生（TUI）与命令行（CLI）工具，用于零开销启动基于 llama.cpp 的本地大语言模型（LLM）。它提供交互式初始化向导、内置守护进程模式及 OpenAI 兼容 API 代理，所有功能集成于单个 Rust 二进制文件中，性能接近裸 llama-server。项目直接封装 GGUF 模型格式，不引入额外抽象层，支持模型管理、推理服务启停与配置持久化。适用于开发者本地快速部署 LLM 服务、构建 AI 代理底层运行时，或作为 CLI 工具链中可脚本化的 LLM 执行入口。