picolm

PicoLM 是一个超轻量级本地大语言模型推理引擎，专为极低资源嵌入式设备设计。它用纯 C11 实现，零依赖、单二进制（约80KB），仅需45MB运行内存，即可在256MB RAM的$10级硬件（如LicheeRV Nano/Raspberry Pi）上运行10亿参数LLM（GGUF格式）。支持流式stdin/stdout交互、JSON结构化输出及多线程推理。适用于完全离线、高隐私、低成本的边缘AI场景，如本地AI助手、物联网终端智能体、教育实验平台和无网环境下的自然语言交互。