[发明专利]基于信息瓶颈理论的解纠缠表征学习方法及装置

说明书

本公开实施例涉及图像处理领域，提供一种基于信息瓶颈理论的解纠缠表征学习方法及装置，方法包括：将待处理的图像数据输入基于信息瓶颈理论建立的阶梯式编码器网络，得到多个分别与图像数据中多个属性信息一一对应的属性表示以及与图像数据中多个属性信息之外的其他信息相对应的残余信息表示；连接多个属性表示和残余信息表示，得到包括分别与多个属性表示以及残余信息表示一一对应的多个表示块的最终隐藏表示；将所有表示块投影到同一个共享隐空间中得到每个表示块分别对应的投影表示；连接各个投影表示，将连接后的各个投影表示输入预设的解码网络，得到解纠缠重构数据。本公开实施例取得了更好的解纠缠效果和可解释性。

技术领域

本公开涉及图像处理技术领域，特别涉及一种基于信息瓶颈理论的解纠缠表征学习方法及装置。

背景技术

表示学习是目前深度学习中最为基础的研究之一，它对所有的下游任务(分类、目标检测、语义分割等等)来说都是最为重要的，所以，表示学习是学者一直在关注的主要问题。其中，解纠缠表示学习旨在要求学习到的表示可以有很好的解释意义，被称作解纠缠表示。解纠缠表示的每一个维度都对应着数据的某个潜在因子，这样就可以将表示中的每一个维度有着真实数据的属性意义。目前的解纠缠表示学习方法，主要采用的是在隐空间中直接对数据嵌入表示的维度之间的相关关系做约束，使得不同维度之间互不相关，从而达到解纠缠的效果。然而，现有的解纠缠表示学习模型都是基于所有因子对应的神经元均存在于一个隐空间，但这是不合理的，因为数据不同属性的复杂程度是不同的，不应该在同一个嵌入空间中被提取出来。

发明内容

本公开旨在至少解决现有技术中存在的问题之一，提供一种基于信息瓶颈理论的解纠缠表征学习方法及装置。

本公开的一个方面，提供了一种基于信息瓶颈理论的解纠缠表征学习方法，所述解纠缠表征学习方法包括：

将待处理的图像数据输入基于信息瓶颈理论建立的阶梯式编码器网络，得到多个属性表示以及残余信息表示；其中，各个所述属性表示分别与所述图像数据中的多个属性信息一一对应，所述残余信息表示与所述图像数据中所述多个属性信息之外的其他信息相对应；

连接所述多个属性表示以及所述残余信息表示，得到所述图像数据对应的最终隐藏表示；其中，所述最终隐藏表示包括多个表示块，各个所述表示块分别与多个所述属性表示以及所述残余信息表示一一对应；

将所述最终隐藏表示中的所有所述表示块投影到同一个共享隐空间中，得到每个所述表示块分别对应的投影表示；

连接各个所述投影表示，将连接后的各个所述投影表示输入预设的解码网络，得到所述图像数据对应的解纠缠重构数据。

可选的，所述阶梯式编码器网络包括依次连接的n层编码器，每层编码器均基于其对应的输入数据输出所述图像数据中的一个属性信息对应的属性表示，并得到其输入数据中该属性表示对应的属性信息之外的其他信息对应的本层编码器的剩余信息表示，同时将本层编码器的剩余信息表示作为下一层编码器的输入数据；

所述将待处理的图像数据输入基于信息瓶颈理论建立的阶梯式编码器网络，得到多个属性表示以及残余信息表示，包括：

将所述图像数据输入所述阶梯式编码器网络，得到所述阶梯式编码器网络中第1,2,…,n层编码器分别输出的属性表示z¹,z²,…,zⁿ以及残余信息表示sⁿ。

可选的，所述解纠缠表征学习方法还包括：

对所述阶梯式编码器网络和所述预设的解码网络进行优化，以使下式(1)所示的损失函数达到最小：

其中，代表所述阶梯式编码器网络对应的第一损失函数，代表所述解码网络对应的第二损失函数，λ代表平衡因子。

可选的，所述第一损失函数表示为下式(2)：