ollm

oLLM 是一个轻量级 Python 库，专为大上下文规模的离线大语言模型（LLM）推理设计。它基于 Hugging Face Transformers 和 PyTorch，支持 Llama-3、Gemma-3、Qwen3-Next、GPT-OSS 等主流模型，在仅 8GB VRAM 的消费级 GPU（如 RTX 3060 Ti）上实现最高 100k 上下文长度的高效推理，不依赖量化，仅使用 fp16/bf16 精度，并通过 KV 缓存磁盘卸载与模型结构优化（如 chunked MLP）大幅降低显存占用；同时支持文本+音频（Voxtral）、文本+图像（Gemma-3）等多模态推理。适用于本地部署、私有化大模型应用、长文档分析、边缘设备推理等对显存敏感且需长上下文能力的场景。