[发明专利]时频域联合全景分割卷积神经网络及应用

说明书

时频域联合全景分割卷积神经网络及应用，属于深度学习图像处理领域，包括频域变换网络，将输入变换为频域信息，提取图像的高低频特征；时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；分割融合网络，融合前背景分割结果，生成全景分割结果，效果是能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。

技术领域

本发明属于深度学习图像处理领域，具体的说是一种联合了时域和频域两种视角分析全景分割算法的卷积神经网络，适用于无人驾驶和自主机器人场景。

背景技术

近年来，无人驾驶和机器人领域由于深度学习的快速发展而取得重大突破，基于强大的场景理解功能，全景分割技术逐渐成为计算机视觉环境感知的重要手段。然而，传统的时域卷积神经网络只能从空间域角度出发对图像进行无差别的特征提取，忽略了图像中由于频率不同而形成的前、背景显著程度的差异性，导致图像前景分割精度不佳；普通的频域卷积神经网络主要观察图像像素的振动变化，有利于分割图像中频率变化差异较大的目标，而对图像背景的空间位置关系分析不足。

专利《一种带有双向连接和遮挡处理的全景分割方法》(公开号：CN111242954A)提出了一种空间域连接的全景分割方法，通过在语义分割和实例分割间建立双向连接，使得任务间特征相互加强。专利《一种基于卷积实现的图像全景分割预测优化方法》(公开号：CN109801297A)公开了一种基于时域全景分割卷积神经网络，网络从空间关系出发，对实例目标进行遮挡优先级的排序，解决了实例间存在的遮挡问题，但该专利没有考虑到全景图像的频率特性，丢失了实例对象所具有的高频信息，可能导致网络对实例目标的识别精度受到限制。

发明内容

为了解决以双重视角进行网络分析的问题，本发明提出如下技术方案：一种时频域联合全景分割卷积神经网络，包括

频域变换网络，将输入变换为频域信息，提取图像的高低频特征；

时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；

时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；

分割融合网络，融合前背景分割结果，生成全景分割结果。

进一步的，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1，系数分配原则是系数组(a，b)中只有一个零系数、系数组(c，d)中只有一个零系数。

进一步的，a＝1，b＝0，c＝0，d＝1，联合频域变换网络中的高频特征H和时域变换网络中的语义特征S作为输出。

进一步的，系数分配组合范围C₆如公式所示：

C₆(a,b,c,d)＝{0.7～1,0～0.3,0～0.3,0.7～1}。

进一步的，频域变换网络由预处理结构和一个频域变换模块构成，频域变换模块包括一个高通链路和一个低通链路，高通链路由两个完全相同的高通卷积层和一个反卷积层构成；低通链路由一个低通卷积层和一个上采样层构成。

进一步的，时域变换网络由预处理结构和一个时域变换模块构成，时域变换模块包括一个实例链路和一个语义链路，实例链路由一层反卷积层构成，语义链路由一层上采样层构成。

进一步的，分割融合网络包括

前景分割网络，由三层3*3的卷积层和一层2*2的反卷积层构成；

背景分割网络，由三层可变形卷积层和相应的上采样结构组成；