ml-ferret

Ferret 是一个端到端的多模态语言模型，能够接受任何形式的引用并响应任何粒度的对象定位。其核心功能包括混合区域表示和空间感知视觉采样器，支持细粒度和开放词汇的引用和定位。此外，项目还提供了一个大规模、层次化且鲁棒的数据集 GRIT 以及一个多模态评估基准 Ferret-Bench。Ferret 适用于需要结合视觉和语言处理的任务，如图像理解和交互式问答等场景。该项目适合研究用途，代码和数据仅限于非商业使用。