circuit-tracer

circuit-tracer 是一个用于从多层感知机转码器中发现电路的Python库。该项目基于Ameisen等人和Lindsey等人的研究成果，主要实现三大功能：一是给定预训练模型，计算每个非零转码器特征、错误节点及输入令牌对其他非零转码器特征和输出logit的直接影响；二是可视化这些影响关系，并允许用户进行注释；三是利用归因图中的洞察对模型的转码器特征进行干预实验，观察模型输出的变化。适用于需要深入理解或调试神经网络内部工作机制的研究场景，如自然语言处理领域的模型解释性研究。MIT许可证下开源，社区活跃度高。