litmux

Litmux 是一个用于AI的单元测试工具，可以帮助用户测试提示词、比较模型并节省成本。其核心功能包括通过YAML配置文件定义测试用例和断言条件，支持多种断言类型如包含特定字符串、正则表达式匹配等，并能够生成成本报告以帮助选择性价比更高的模型。此外，它还提供了批量评估数据集、生成测试数据集以及跨模型成本预测等功能。适合于需要频繁调整AI模型参数或优化提示词效果的开发团队使用，特别是在关注成本控制的情况下。项目基于Python开发，易于安装和部署，无需数据库或云账户支持。