[发明专利]立体图像的视觉显著性检测方法、装置、设备及存储介质

权利要求书

1.一种立体图像的视觉显著性检测方法，其特征在于，所述方法包括下述步骤：

当接收到立体图像的视觉显著性检测请求时，获取所述立体图像的颜色信息和深度信息；

通过预设的颜色显著性预测网络对所述颜色信息进行显著性预测，以得到所述立体图像的第一显著性预测，通过预设的深度显著性预测网络对所述深度信息进行显著性预测，以得到所述立体图像的第二显著性预测，并通过预设的联合显著性预测网络对所述颜色信息和所述深度信息进行显著性预测，以得到所述立体图像的第三显著性预测，所述颜色显著性预测网络包括预设数量个堆叠的卷积层、一个分类层、一个线性插值层和一个输出层，所述深度显著性预测网络包括预设数量个堆叠的卷积模块、一个分类层、一个线性插值层和一个输出层，所述联合显著性预测网络包括两个全卷积网络流、一个Concat层、一个分类层、一个线性插值层和一个输出层，所述颜色显著性预测网络、所述深度显著性预测网络和所述联合显著性预测网络的分类层均包含一个3x3卷积核和一个输出通道；

将所述第一显著性预测、所述第二显著性预测以及所述第三显著性预测与预设的多个中心偏置先验进行级联，得到多通道级联数据；

通过预设的通道间融合网络对所述多通道级联数据进行多通道信息空间差异性融合，以得到所述立体图像的显著性图；

通过预设的通道间融合网络对所述多通道级联数据进行多通道信息空间差异性融合，以得到所述立体图像的显著性图的步骤，包括：

将所述多通道级联数据输入到所述通道间融合网络中卷积核大小为3x3的第一卷积滤波器和第二卷积滤波器中，分别获取稠密显著性预测图的视觉特征和中心偏置模式；

通过所述通道间融合网络的回归卷积层对所述视觉特征和中心偏置模式执行卷积回归操作，以根据公式计算得到所述立体图像的显著性图，其中，所述回归卷积层包含一个3x3卷积核和一个输出通道，S_IC表示多通道级联数据，R表示ReLU非线性操作，和表示所述通道间融合网络中卷积滤波器的参数，F_IC表示稠密显著性预测的中心偏置特征图。

2.如权利要求1所述的方法，其特征在于，通过预设的颜色显著性预测网络对所述颜色信息进行显著性预测的步骤，包括：

通过所述颜色显著性预测网络中预设数量个卷积层对所述颜色信息进行特征提取，以得到对应的颜色特征图；

通过所述颜色显著性预测网络中的分类层对所述颜色特征图进行分类，生成稠密颜色显著性预测图；

根据所述立体图像的空间分辨率，通过所述颜色显著性预测网络中的线性插值层对所述稠密颜色显著性预测图进行上采样；

对所述上采样得到的图像执行交叉熵操作，得到所述立体图像的所述第一显著性预测。

3.如权利要求1所述的方法，其特征在于，通过预设的深度显著性预测网络对所述深度信息进行显著性预测的步骤，包括：

通过所述深度显著性预测网络中预设数量个卷积层对所述深度信息进行特征提取，以得到对应的深度特征图；

通过所述深度显著性预测网络中的分类层对所述深度特征图进行分类，生成稠密深度显著性预测图；

根据所述立体图像的空间分辨率，通过所述深度显著性预测网络中的线性插值层对所述稠密深度显著性预测图进行上采样；

对所述上采样得到的图像执行交叉熵操作，得到所述立体图像的所述第二显著性预测。

4.如权利要求1所述的方法，其特征在于，通过预设的联合显著性预测网络对所述颜色信息和所述深度信息进行显著性预测的步骤，包括：

通过所述联合显著性预测网络中的两个全卷积网络流对所述颜色信息和所述深度信息进行特征提取，得到对应的颜色特征图和深度特征图；

对所述得到的所述颜色特征图和所述深度特征图进行特征级联，得到颜色和深度联合特征图；

通过所述联合显著性预测网络中的分类层对所述颜色和深度联合特征图进行分类，生成稠密颜色和深度联合显著性预测图；

根据所述立体图像的空间分辨率，通过所述联合显著性预测网络中的线性插值层对所述稠密颜色和深度联合显著性预测图进行上采样；

对所述上采样得到的图像执行交叉熵操作，得到所述立体图像的所述第三显著性预测。