mitsuhiko

pi-llamacpp

mitsuhiko

An experimental pi extension that runs and manages qwen with llama.cpp

AI 简介

这是一个为 Pi 平台设计的实验性扩展,用于本地运行和管理基于 llama.cpp 的 Qwen3.6 模型(含 Dense 27B 和 MoE 35B-A3B 架构)。它自动下载适配的 GGUF 模型、构建带 MTP/NextN 支持的 llama.cpp 运行时、启动并托管 llama-server,并在 Pi 关闭时自动清理。核心特点是模型按需拉取、运行时本地编译、端口自动分配与生命周期托管,支持量化精度(2/4/8-bit)灵活切换。适用于希望在 Pi 环境中轻量部署 Qwen 大模型进行本地推理、AI 助手开发或离线 LLM 实验的技术用户。

TypeScript
MIT License
144
Stars
12
Forks
102
Watchers
2
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分43.34
默认分支main