hidariako

Bento

hidariako

Real-time edge-deployment accelerates model serving with highly-parallelizable, serverless-enabled, containerized workloads optimization engine.

AI 简介

Bento 是一个面向边缘计算场景的实时模型服务优化引擎,专为加速 AI 模型在边缘节点的部署与推理而设计。它通过高度并行化、容器化和 Serverless 就绪的架构,实现低延迟、高吞吐的模型服务调度与资源编排。基于 Go 语言构建,具备轻量依赖、跨平台编译、内置 HTTP 服务及高并发处理能力,适用于 IoT 设备、边缘网关、本地化 AI 推理等对时延敏感、资源受限的部署环境。

Go
MIT License
24
Stars
0
Forks
24
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
默认分支main