clip-as-service

CLIP-as-service 是一个用于图像和文本嵌入的低延迟高可扩展性服务。其核心功能包括使用 TensorRT、ONNX 运行时和 PyTorch 无 JIT 编译来提供高达 800QPS 的 CLIP 模型服务，支持非阻塞双工流处理，适用于大数据量和长时间运行的任务。该服务具有弹性伸缩能力，能够在单个 GPU 上水平扩展多个 CLIP 模型，并自动负载均衡。此外，它提供了简洁易用的客户端和服务端设计，以及直观一致的 API 接口。CLIP-as-service 支持异步客户端，可以轻松切换 gRPC、HTTP 和 WebSocket 协议，并具备 TLS 和压缩功能。该项目非常适合需要快速集成到神经搜索解决方案中的场景，如构建跨模态或多模态应用。