[发明专利]基于无监督学习的多视角显著性估计方法

权利要求书

1.一种基于无监督学习的多视角显著性估计方法，其特征在于步骤如下：

步骤1：单视角背景建模

计算边界先验图：像素点x的边界先验P_boundary(x)定义为该点所在图像块V_x到虚拟背景点V_B的最短路径：

其中，w(V_i,V_i+1)表示顶点V_i和顶点V_i+1之间边的权重；n_x是当前点x到V_B的最短路径长度；

计算深度先验图：

其中，是点x处归一化的深度值；

基于归一化的边界与深度先验图，计算单视角背景先验图：

P₁(x)∝1-P_boundary(x)·P_depth(x) (3)

其中，P₁(x)代表当前像素点x属于背景区域的概率；

步骤2：采用深层自动编码器对单视角背景进行学习

所述的深层自动编码器由共用中心层且结构对称的编码器与解码器两部分组成，中心层为二值神经元，其余所有神经元均为逻辑神经元；所述的编码器由5层网络结构组成，相邻两层网络是全连接的关系，N₀为输入层的神经元数量，其大小由输入图像块对应的向量维数决定；编码器神经元个数逐层减少，N_i≥2N_i+1,i＝0,1,2，N₃≥2N_c，中心层神经元数量N_c通常远小于输入层神经元数量N₀；

步骤3：单视角显著性图计算

对于像素点x，首先提取其对应的大小为d_k×d_k的图像块，并堆叠所有颜色通道数据来生成对应的向量表示s^k(x)；接下来，通过将图像块向量s^k(x)输入到学习后的深层自动编码器中，其中表示尺度k下深层自动编码器的参数，来得到重构图像块向量最后，计算重构与实际图像块向量的l₂范数来得到单视角下像素点x的显著性值

步骤4：联合视角背景建模

将不同视角下的输入变换到统一公共平面上来实现全局背景整合：先手动标定p组当前视角平面与对应公共平面中对应的网格参考点与再利用成对的标记点求解两个视角间投影关系对应的3×3非奇异矩阵Q：

对于每一个视角图像A_i，根据式(5)来建立方程组求解其对应的变换矩阵Q_i，并将A_i通过变换变换到公共平面上接下来整合不同视角下的投影变换结果形成公共平面；删除重叠的区域，使得每个重叠区域仅保留一次；最后再根据式(3)进行联合背景建模，得到联合背景先验图P₂(x)；

步骤5：联合视角背景学习

通过已知几何变换来避免从未观察区域进行背景学习，再对剩下区域根据P₂(x)值进行排序，估计出前80％的区域作为候选背景区域；基于候选背景区域，采样m×n个图像块训练样本来对深层自动编码器进行训练，n为视角图像数量；同样采用两阶段训练方式来训练深层自动编码器，利用预训练为深层自动编码器设定初值，再利用反向传播算法微调整个深层自动编码器参数得到联合背景建模下的深层自动编码器

步骤6：联合视角显著性图计算

在当前视角图像A_i下，平面上每个点在尺度k下的显著性可通过计算联合视角下训练深层自动编码器的重构误差得到；再根据的反变换来将显著性图变换到当前图像视角下，得到联合视角显著性图

步骤7：多尺度显著性图融合

采样多尺度图像块模板来进行训练与显著性计算：

首先将图像块大小设置为l个尺度：d₁×d₁,d₂×d₂,…,d_l×d_l，按照步骤2与3计算尺度1到尺度l下单视角显著性图最终多尺度单视角显著性图为不同尺度下显著性图的平均结果：

其中N(·)表示归一化算子；相似地，在尺度1,2,…,l下，按照步骤5与6分别计算多个个尺度下的联合显著性图再平均不同尺度下的结果得到总的多尺度联合视角显著性图：

多尺度图像块模板可采用如下的设置方式2d_k≤d_k+1,k＝1,2,…,l-1；

采用显著性图紧凑性度量系数β₁与β₂来整合单视角与联合视角对应的显著性图：

其中，(E_i,1,E_j,1)与(E_i,2,E_j,2)分别表示显著性图S₁(x)与S₂(x)的平均空间位置；(x_i,x_j)表示像素点x的x轴与y轴坐标；在此基础上，总显著性图S(x)可按如下方式计算：

S(x)＝β₁·S₁(x)+β₂·S₂(x)+β₁·β₂·S₁(x)·S₂(x) (9)

其中第一项表示基于紧凑性度量系数的单视角与联合视角线性加权结果，第二项的作用在于增加两部分公共关注区域的显著性值。