h2ogpt

h2oGPT是一个用于本地私有GPT模型的聊天和文档查询工具，支持多种数据类型如文档、图片、视频等。该项目采用Apache 2.0开源协议，支持包括oLLaMa、Mixtral、llama.cpp在内的多个模型，并提供了一个基于Gradio的用户界面或命令行接口来实现模型的流式处理。其核心功能包括高效准确的文档嵌入与持久化存储、并行化的摘要生成以及基于GPU加速的语义分割技术。此外，它还集成了语音转文字（STT）、文字转语音（TTS）及图像生成等功能。适合需要在保证隐私的前提下利用大语言模型进行信息检索、内容生成或者构建个性化AI助手的企业和个人使用场景。