[发明专利]全景图像去雾方法与装置

权利要求书

1.一种全景图像去雾方法，包括：

步骤S100，给定光强度小于预设阈值的全景图像，对于给定的全景图像进行卷积以生成初始特征图F⁰，分别在初始特征图上应用K-1个矩形形状的卷积核和一个正方形形状的卷积核，以生成K个第一特征图序列，作为第一特征图序列集；

步骤S200，将第一特征图序列集中序号相同的特征图相加以生成第二特征图序列，将第二特征图序列进行全局平均池化以生成第一特征向量，将第一特征向量输入到至少一个全连接层，得到第一特征图序列集中每个特征图序列对应的第三特征向量；

步骤S300，基于第三特征向量集合，对第一特征图序列集进行加权并求和处理以生成第三特征图序列；

步骤S400，将第三特征图序列输入到深度估计模块，得到深度图；

步骤S500，将全景图像、深度图与第一特征图序列集输入到除雾模块，得到除雾后的全景图像。

2.根据权利要求1所述的方法，其中，所述将第一特征图序列集中序号相同的特征图相加以生成第二特征图序列，将第二特征图序列进行全局平均池化以生成第一特征向量，将第一特征向量输入到至少一个全连接层，得到第一特征图序列集中每个特征图序列对应的第三特征向量，包括：

对第一特征图序列集中序号相同的特征图求和得到第二特征图序列，其中，第一特征图的维度为H×W×C；

对于第二特征图序列中的每个第二特征图F_add，在W×C维度上进行全局平均池化得到第一特征向量S_fv，具体操作如下：

其中，F_add表示第二特征图，k表示序号，K表示卷积核的个数，F表示特征图，F^k表示第k个卷积核对应的卷积过程中的第一特征图，表示维度为H×W×C的张量的集合，s_fv表示第一特征向量，表示维度为H×1的张量的集合，w表示序号，c表示序号，W表示全景图像宽度值，C表示第一特征图组的通道数目，H表示全景图像高度值；

通过全局平均池化，得到整体的特征表示，之后通过全连接层生成K个特征向量用于对每个特征图的不同位置进行加权，具体操作如下：

其中，s_fd表示第二特征向量，k表示序号，表示第k个卷积核对应的卷积过程中的第二特征向量，表示维度为的张量的集合，s_fv表示第一特征向量，表示维度为H×1的张量的集合，V_ex1表示第一1×1卷积的操作，δ[]表示sigmoid函数，W_ex2表示第二1×1卷积的操作，表示维度为的张量的集合，H表示全景图像高度值，表示维度为的张量的集合，r_d表示第一参数，r_e表示第二参数，S_at表示第三特征向量，表示第k个卷积核对应的卷积过程中的第三特征向量，q表示向量对应维度元素，K表示卷积核的个数。

3.根据权利要求2所述的方法，其中，所述基于第三特征向量集合，对第一特征图序列集进行加权并求和处理以生成第三特征图序列，包括：

将步骤S200生成的第三特征向量使用双线性插值方法由维扩展到H维，之后使用第三特征向量对特征图F^k的不同条带加权后求和形成最终的第三特征图F_scc，具体操作如下：

其中，F_scc表示第三特征图，k表示序号，K表示卷积核的个数，F^k表示第k个卷积核对应的卷积过程中的第一特征图，表示双线性插值算法，S_at表示第三特征向量，表示第k个卷积核对应的卷积过程中的第三特征向量，表示维度为的张量的集合，r_d表示第一参数，r_e表示第二参数，H表示全景图像高度值。

4.一种全景图像去雾装置，包括：

卷积处理单元，被配置成给定光强度小于预设阈值的全景图像，对于给定的全景图像进行卷积以生成初始特征图F⁰，分别在初始特征图上应用K-1个矩形形状的卷积核和一个正方形形状的卷积核，以生成K个第一特征图序列，作为第一特征图序列集；

第一输入单元，被配置成将第一特征图序列集中序号相同的特征图相加以生成第二特征图序列，将第二特征图序列进行全局平均池化以生成第一特征向量，将第一特征向量输入到至少一个全连接层，得到第一特征图序列集中每个特征图序列对应的第三特征向量；

求和处理单元，被配置成基于第三特征向量集合，对第一特征图序列集进行加权并求和处理以生成第三特征图序列；

第二输入单元，被配置成将第三特征图序列输入到深度估计模块，得到深度图；

第三输入单元，被配置成将全景图像、深度图与第一特征图序列集输入到除雾模块，得到除雾后的全景图像。