[发明专利]视交叉仿真的视频前景分割方法及装置

权利要求书

1.一种视交叉仿真的视频前景分割方法，其特征在于，包括如下步骤：

S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，采用多输入(MI)结构和多输出(MO)结构从两个相似帧中进行信息感知和特征提取，编码器网络被设置为孪生网；

S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合，将MIMO结构实例化为X型网络，称为X-Net，它通过融合网络将编码网络和解码网络组合在一起，形成X型结构，X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息；

S3，构建解码器网络，解码器网络包括两条独立的路径，在相同结构配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。

2.根据权利要求1所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S2中，首先用1×1转置卷积将高维特征映射在深度维度投影到较低维度，然后采用3×3卷积进行特征融合。

3.根据权利要求2所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S2中，采用采用1×1的转置卷积来增加特征映射的数目。

4.根据权利要求1所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S3中，使用转置卷积来逐渐减少特征通道和提高特征映射尺度到原来的大小。

5.根据权利要求4所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S3中，为了弥补采样过程中高级特征分辨率低的缺点，采用跳层连接的方法来利用中、早期的特征映射。

6.一种视交叉仿真的视频前景分割装置，其特征在于，包括：

图像获取模块，用于获取图像；

图像处理模块，用于处理获取的图像；所述图像处理模块包括编码网络，所述编码网络采用两条收缩路径模拟人眼的双目视神经功能，采用多输入(MI)结构和多输出(MO)结构从两个相似帧中进行信息感知和特征提取，编码器网络被设置为孪生网；融合网络，所述融合网络对编码器网络中两条收缩路径中学习到的信息在本网络中进行融合，将MIMO结构实例化为X型网络，称为X-Net，它通过融合网络将编码网络和解码网络组合在一起，形成X型结构，X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息；解码器网络，所述解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类；

图像输出模块，用于对处理后的图像进行输出。

7.根据权利要求6所述的视交叉仿真的视频前景分割装置，其特征在于，所述解码器网络采用跳层连接的方法利用中、早期的特征映射。