embedding-vocab-trimmer

这是一个无需训练、不依赖GPU的多语言文本嵌入模型词汇表裁剪工具，可将大模型精简为单一目标语言专用版本。核心功能包括：基于目标语料的词频统计筛选高频token、保留特殊token、重构BPE合并表以保证tokenizer与embedding矩阵一致性，并保持原始transformer编码器和池化层参数完全不变。适用于部署资源受限场景下的单语言嵌入服务优化，如葡萄牙语（PT-BR）等特定语种的轻量化推理。