privacy-filter

OpenAI Privacy Filter 是一个用于检测和屏蔽文本中个人可识别信息（PII）的双向标记分类模型。其核心技术特点包括：预训练自回归模型，随后转换为基于隐私标签分类的双向标记分类器，并通过监督分类损失进行后训练；模型在单次前向传递中标记输入序列，并使用受限Viterbi过程解码连贯片段；支持长上下文处理（128,000个令牌），运行时控制精度/召回率权衡及检测跨度长度。此项目适用于需要高吞吐量数据清理工作流、且希望在本地运行快速、上下文感知及可调模型的团队。此外，它还具备Apache 2.0许可、小尺寸（总共1.5B参数，激活参数50M）、易于微调等优点，适合实验、定制化及商业部署。