promptfoo
promptfoo
Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.
AI 简介
Promptfoo 是一个用于评估和红队测试大语言模型（LLM）应用的开源工具。它支持对提示词、智能体（Agents）和检索增强生成（RAG）系统进行自动化测试与安全扫描，提供多模型（如 GPT、Claude、Gemini 等）性能对比、漏洞检测、CI/CD 集成及声明式配置能力。核心特点包括命令行驱动、轻量级配置文件定义评测任务、支持红队攻击模拟与合规性检查。适用于 LLM 应用开发、AI 安全审计、提示工程优化及 MLOps/LLMOps 流程中的质量保障环节。
TypeScript
MIT License23.1k
Stars
2.1k
Forks
58
Watchers
94
Issues
Star 增长
今日0
近 7 天0
近 30 天+474
综合评分79.95
默认分支main