tribev2

TRIBE v2 是一个用于预测大脑对自然刺激（视频、音频、文本）响应的多模态模型。它将最先进的文本、音频和视频模型整合到统一的Transformer架构中，能够将多模态表示映射到皮质表面，从而实现脑响应的预测。项目支持通过预训练模型快速生成针对特定视频、音频或文本内容的大脑活动预测，并且提供了详细的Colab演示笔记本，便于用户理解和使用。此外，TRIBE v2 还允许研究人员基于自己的数据集从头开始训练模型，适用于神经科学领域的研究者进行虚拟实验或探索大脑处理多感官信息机制的研究场景。