safegate

SafeGate是一个轻量级的运行时安全防护工具，专为多模态大语言模型（LLM）的输入输出设计。其核心功能包括通过几个小型分类器来检测文本、图像和音频中的潜在不安全内容，并决定是否允许这些数据通过或返回给用户。技术特点在于它能够在应用与模型之间作为中间层工作，有效拦截最常见的攻击模式，如隐藏在图片中的恶意提示、跨模态洗白请求以及看似无害但实际有害的生成内容。适合于任何需要在生产环境中部署多模态LLM并希望增强其安全性以防止不当信息传播的应用场景中使用。