llama-cpp-python

这是一个为 llama.cpp C/C++ 推理引擎提供的 Python 绑定库，使开发者能在 Python 环境中高效加载和运行 LLaMA、Phi、Gemma 等开源大语言模型。它提供低层 ctypes 接口与高层易用 API，支持 OpenAI 兼容接口、LangChain/LlamaIndex 集成，并内置轻量 Web 服务，可实现本地文本生成、函数调用及多模态（视觉）推理。适用于资源受限环境下的离线模型部署、AI 应用快速原型开发与私有化大模型服务构建。