garak

Garak 是一个用于检测大型语言模型（LLM）漏洞的工具。它通过静态、动态和自适应探测方法，检查 LLM 是否存在幻觉生成、数据泄露、提示注入、错误信息传播、毒性内容生成、越狱等安全问题。该工具采用 Python 语言编写，支持包括 Hugging Face Hub、Replicate、OpenAI API、AWS Bedrock 等多种主流 LLM 平台。适用于需要对 AI 对话系统或 LLM 进行安全性评估的场景，如开发测试阶段的安全性验证或是上线前的风险排查。