mudler

LocalAI

mudler

LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.

AI 简介

LocalAI是一个开源的人工智能引擎,支持在任何硬件上运行多种模型,包括大语言模型、视觉、语音、图像和视频处理等,无需GPU。其核心功能包括与OpenAI、Anthropic和ElevenLabs等主流API的兼容性,支持超过36种后端技术如llama.cpp、vLLM等,并具备多用户管理能力,确保数据隐私安全。该工具特别适合那些希望在本地环境中部署AI应用而无需依赖云端资源的企业或个人开发者使用,适用于边缘计算、私有云等多种场景。

Go
MIT License
46.8k
Stars
4.1k
Forks
287
Watchers
151
Issues

Star 增长

今日+20
近 7 天+129
近 30 天+614
综合评分120
默认分支master