promptbeat

promptbeat 是一个用于大型语言模型安全评估的红队工具包，旨在通过生成对抗性测试案例来检验模型的鲁棒性。其核心功能包括基于种子驱动的红队测试生成、多供应商并行评估与对比、按风险类别和供应商统计攻击成功率、以及生成带有交互式过滤功能的HTML报告。此外，该项目提供了一个自包含的发布包，集成了Python、Node.js和promptfoo，简化了安装与使用流程。适合需要对AI系统进行安全性检测的场景，尤其是那些关注于防止恶意输入导致模型行为异常的应用场合。