natural_language_autoencoders

该项目是一个开源库，用于实现自然语言自编码器（NLA），它由一对微调过的语言模型组成，能够将残差流激活向量与自然语言相互转换。其核心功能包括通过激活向量化器（AV）将向量转换为文本描述，以及通过激活重构器（AR）将文本重新转换回向量。该技术特点在于使用了L2归一化处理后的向量进行比较，以评估方向一致性，并且支持从基础模型的特定层提取信息。适用于需要对大规模语言模型内部激活进行无监督解释的研究场景，如理解模型行为或生成人类可读的解释。