tokenspeed

tokenspeed 是一个用于模拟不同速率下生成令牌的终端小工具，帮助用户直观感受各种本地大语言模型（LLM）所报告的吞吐量数值。其核心功能包括以用户指定的速度生成伪代码、文本或思考过程三种模式的令牌流，并支持通过键盘快捷键实时调整速率。该工具无需额外依赖，仅需Python 3环境即可运行。适用于希望更好地理解不同硬件平台上LLM性能表现的研究者或开发者，特别是那些对模型输出速度有特定需求的应用场景中，如聊天机器人响应时间优化等。