ControlNet

ControlNet 是一个用于控制扩散模型的神经网络结构，通过添加额外条件来增强文本到图像的生成能力。其核心功能在于将神经网络块的权重复制成“锁定”和“可训练”两个版本，其中“可训练”部分学习特定条件，“锁定”部分保持原有模型不变，从而在使用小规模数据集时不会破坏预训练好的扩散模型。此外，它采用了一种特殊的“零卷积”技术，在训练前确保不会对原模型造成任何失真。该技术特别适用于那些希望在有限资源下（如个人设备）进行深度学习模型微调或需要向现有扩散模型添加自定义控制条件的场景。