av-curator

AV-Curator 是一个面向网络视频的音视频数据清洗流水线工具，用于自动化去除噪声、提升训练/评估数据质量。核心功能包括场景切分、静音段裁剪、近似重复检测（支持感知哈希与CLIP嵌入）、Whisper语音语言识别过滤及CLIP图文对齐筛选；采用模块化设计，各过滤器可独立启用、替换或审计，输出结构化JSONL清单与可视化清洗报告。适用于大规模音视频模型预训练、多模态数据集构建、网络爬取视频的标准化预处理等场景。