colpali

ColPali 是一个面向文档检索的视觉语言模型（VLM）开源实现，支持 ColPali、ColQwen2 和 ColSmol 等多模态检索模型的训练与推理。其核心采用 ColBERT 式多向量嵌入架构，直接从 PaliGemma 等 VLM 的 ViT 图像块输出生成文档视觉-文本联合表征，无需依赖 OCR 或布局解析等预处理模块。技术特点包括轻量级线性投影、端到端视觉文档嵌入、高效跨模态相似度计算。适用于 PDF/扫描件等富格式文档的语义检索、RAG 中的视觉增强检索、以及需理解图表、排版等视觉线索的垂直场景。