text-generation-inference

Text Generation Inference（TGI）是一个面向生产环境的高性能大语言模型（LLM）文本生成推理服务，采用 Rust 核心 + Python 接口 + gRPC 架构。它支持主流开源模型（如 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX），提供连续批处理、张量并行、Flash Attention 和 Paged Attention 加速、SSE 流式响应及 OpenAI 兼容的 Messages API。适用于需要低延迟、高吞吐的 LLM 在线服务场景，如聊天应用、API 网关和推理托管平台。