promptfoo

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.

AI 简介

Promptfoo 是一个用于评估和红队测试大语言模型应用的命令行工具和库。它支持自动化的提示词和模型测试，帮助开发者构建安全可靠的AI应用，并提供红队测试和漏洞扫描功能来增强应用的安全性。该工具允许用户对比不同模型（如GPT、Claude、Gemini等）的表现，并通过简单的声明式配置轻松集成到CI/CD流程中。适用于需要确保其基于LLM的应用程序质量与安全性的开发团队或个人，在开发过程中持续监控模型性能及安全性。