text-embeddings-inference

Text Embeddings Inference（TEI）是一个专为高性能文本嵌入模型推理优化的服务框架。它基于 Rust 实现，支持动态批处理、Flash Attention、Safetensors/ONNX 权重加载，并原生适配 NVIDIA GPU、AMD ROCm 及 Apple Silicon（Metal），显著降低延迟并提升吞吐量。支持主流开源嵌入模型（如 BGE、E5、GTE、JinaBERT、Qwen 系列等）及重排序器（re-ranker）和序列分类模型。适用于向量检索、语义搜索、RAG 系统、推荐引擎等需低延迟、高并发文本表征服务的生产场景。