[发明专利]时频域联合全景分割方法、系统和介质

说明书

时频域联合全景分割方法、系统和介质，属于深度学习图像处理领域，输入图像，响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，获取全景风格，效果是能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。

技术领域

本发明属于深度学习图像处理领域，具体的说是一种联合了时域和频域两种视角分析全景分割算法的卷积神经网络、时频域联合全景分割方法、系统和介质，适用于无人驾驶和自主机器人场景。

背景技术

近年来，无人驾驶和机器人领域由于深度学习的快速发展而取得重大突破，基于强大的场景理解功能，全景分割技术逐渐成为计算机视觉环境感知的重要手段。然而，传统的时域卷积神经网络只能从空间域角度出发对图像进行无差别的特征提取，忽略了图像中由于频率不同而形成的前、背景显著程度的差异性，导致图像前景分割精度不佳；普通的频域卷积神经网络主要观察图像像素的振动变化，有利于分割图像中频率变化差异较大的目标，而对图像背景的空间位置关系分析不足。

专利《一种带有双向连接和遮挡处理的全景分割方法》(公开号：CN111242954A)提出了一种空间域连接的全景分割方法，通过在语义分割和实例分割间建立双向连接，使得任务间特征相互加强。专利《一种基于卷积实现的图像全景分割预测优化方法》(公开号：CN109801297A)公开了一种基于时域全景分割卷积神经网络，网络从空间关系出发，对实例目标进行遮挡优先级的排序，解决了实例间存在的遮挡问题，但该专利没有考虑到全景图像的频率特性，丢失了实例对象所具有的高频信息，可能导致网络对实例目标的识别精度受到限制。

发明内容

为了解决以双重视角进行网络分析的问题，本发明提出如下技术方案：一种时频域联合全景分割方法，包括如下步骤：

输入图像，

响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，

获取全景风格。

进一步的，所述分割包括如下步骤：

第1步：读取数据集图像，得到四层残差特征；

第2步：对所述四层残差特征实施高低频特征分离，得到高频特征和低频特征；对所述四层残差特征实施实例特征和语义特征分离，得到实例特征和语义特征；

第3步：高频特征、低频特征、实例特征和语义特征分配乘积系数，得到时频域特征组合；

第4步：将时频域特征组合进行拆分，分别送入前景分割网络、背景分割网络，进行分割预测，得到前景分割结果和背景分割结果。

进一步的，所述分割包步骤中，

第1步：读取数据集图像，经由预处理结构得到四层残差特征R(R₁,R₂,R₃,R₄)；

第2步：在频域变换网络中，对四层残差特征R(R₁,R₂,R₃,R₄)进行必要的特征维度调整后，实施高低频特征分离，得到高频特征H(H₁,H₂,H₃,H₄)和低频特征L(L₁,L₂,L₃,L₄)；在时域变换网络中，对所述四层残差特征R(R₁,R₂,R₃,R₄)进行必要的特征维度调整后，实施实例特征和语义特征分离，得到实例特征I(I₁,I₂,I₃,I₄)和语义特征S(S₁,S₂,S₃,S₄)。