juxhinr

bindwidth

juxhinr

Evidence-aware on-prem LLM inference sizing and TCO calculator

AI 简介

Bindwidth 是一款面向本地部署大语言模型(LLM)的推理资源配置与总拥有成本(TCO)估算工具。它基于实际工作负载(如交互式用户或自主智能体),量化分析内存(KV缓存)、计算吞吐(prefill/decode能力)和会话并发三大核心约束,自动识别真正起决定作用的瓶颈,并对比自有硬件、主权云租赁及企业API订阅等可行方案的成本与能力差异。纯前端实现,所有计算在浏览器中完成,无数据上传,保障隐私。适用于企业IT团队、AI基础设施工程师及需要合规可控部署LLM的组织进行前期技术可行性验证与采购决策支持。

JavaScript
MIT License
128
Stars
80
Forks
138
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分45.73
默认分支main