Video-ChatGPT
mbzuai-oryx
[ACL 2024 🔥] Video-ChatGPT is a video conversation model capable of generating meaningful conversation about videos. It combines the capabilities of LLMs with a pretrained visual encoder adapted for spatiotemporal video representation. We also introduce a rigorous 'Quantitative Evaluation Benchmarking' for video-based conversational models.
AI 简介
Video-ChatGPT 是一个面向视频理解的多模态对话模型，支持对输入视频进行细粒度、上下文连贯的自然语言问答与描述生成。其核心技术融合大语言模型（LLM）与适配时空建模的预训练视觉编码器（基于CLIP等架构），并提出首个面向视频对话模型的量化评估基准（VCGBench）。项目强调零样本视频问答能力，在MSVD、MSR-VTT、TGIF、ActivityNet等主流视频QA数据集上验证有效性。适用于视频内容分析、教育视频交互、智能监看摘要、无障碍视频解说等需深度视频-语言对齐的场景。
Python
Creative Commons Attribution 4.0 International1.5k
Stars
128
Forks
12
Watchers
25
Issues
Star 增长
今日0
近 7 天0
近 30 天+1
综合评分54.43
默认分支main