[发明专利]时频域联合全景分割方法、系统和介质

权利要求书

1.一种时频域联合全景分割方法，其特征在于，包括如下步骤：

输入图像，

响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，

获取全景风格，所述获取全景风格包括步骤：将得到的前景分割结果和背景分割结果传递到全景融合网络得到全景分割结果；

所述分割包括如下步骤：

第1步：读取数据集图像，得到四层残差特征；

第2步：对所述四层残差特征实施高低频特征分离，得到高频特征和低频特征；对所述四层残差特征实施实例特征和语义特征分离，得到实例特征和语义特征；

第3步：高频特征、低频特征、实例特征和语义特征分配乘积系数，得到时频域特征组合；

第4步：将时频域特征组合进行拆分，分别送入前景分割网络、背景分割网络，进行分割预测，得到前景分割结果和背景分割结果；

其中：

所述分割包步骤中第1步具体为读取数据集图像，经由预处理结构得到四层残差特征R(R₁,R₂,R₃,R₄)；

所述分割包步骤中第2步具体为在频域变换网络中，对四层残差特征R(R₁,R₂,R₃,R₄)进行必要的特征维度调整后，实施高低频特征分离，得到高频特征H(H₁,H₂,H₃,H₄)和低频特征L(L₁,L₂,L₃,L₄)；在时域变换网络中，对所述四层残差特征R(R₁,R₂,R₃,R₄)进行必要的特征维度调整后，实施实例特征和语义特征分离，得到实例特征I(I₁,I₂,I₃,I₄)和语义特征S(S₁,S₂,S₃,S₄)；

所述分割包步骤中第3步具体为将得到的高频特征H、低频特征L、实例特征I和语义特征S传递到时频域联合网络分配乘积系数，得到时频域特征组合{a*H,b*L,c*I,d*S}，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1；

所述分割包步骤中第4步具体为将第3步得到的时频域特征组合进行拆分，将{a*H,c*I}送入前景分割网络，a+c＝1、将{b*L,d*S}送入背景分割网络，b+d＝1，进行分割预测，得到前景分割结果和背景分割结果；

其中：

高频特征H(H₁,H₂,H₃,H₄)：

低频特征L(L₁,L₂,L₃,L₄)：

实例特征I(I₁,I₂,I₃,I₄)：

语义特征S(S₁,S₂,S₃,S₄)：

在公式(7)～(22)中，F_r(k*k)表示卷积核为k*k、扩张率为r的卷积，F^-1(k*k)表示卷积核为k*k的反卷积，U(n)表示扩大n倍的双线性插值，表示特征向量X的通道数为a、长为b、宽为c，A＝{F,F^-1,U}，表示经过A＝{F,F^-1,U}的计算后，特征向量的通道数由h₁变为h₂、长l、宽w没有变化；表示经过A＝{F,F^-1,U}的计算后，特征向量的通道数h没有变化、长由l₁变为l₂、宽由w₁变为w₂。