[发明专利]一种图像场景解析方法和装置

权利要求书

1.一种图像场景解析方法，其特征在于，包括：

预先训练用于执行图像场景解析的残差网络；其中，

所述残差网络包括依次连接的输入层、含有多个卷积层的基本网络层、特征图层、自注意力模块、1*1卷积层和输出层；

所述基本网络层用于从输入层输入的图像数据中提取特征图数据输入特征图层；自注意力模块用于对所述特征图数据重加权并将重加权后的数据与所述特征图数据拼接；所述1*1卷积层用于对拼接后数据的通道数进行调整并将调整后的数据经输出层输出；

在自注意力模块中，输入的所述特征图数据被1*1卷积核处理后形成索引数据、键数据和值数据；通过主成分分析方法对所述键数据进行降维，计算降维后的键数据与所述索引数据的相似度并将该相似度标准化，将标准化后的相似度与所述值数据相乘从而得到所述重加权后的数据；以及

将目标图像输入训练完成的所述残差网络中，得到目标图像各像素对应的场景。

2.根据权利要求1所述的图像场景解析方法，其特征在于，所述通过主成分分析方法对所述键数据进行降维，包括：

将所述键数据转换为N行M列的初始矩阵；

将初始矩阵的每一行进行零均值化处理；

确定经零均值化处理的初始矩阵的协方差矩阵；

获取该协方差矩阵的多个特征值以及每一特征值对应的特征向量；

获取最大的K个特征值以及相应的特征向量，将该特征向量按照对应的特征值从大到小的顺序排列从而形成变换矩阵；

将变换矩阵与初始矩阵相乘从而将所述键数据的维度从M降到K；其中，

N为通道数，M为所述特征图数据的宽度和高度的乘积，K为小于M的正整数。

3.根据权利要求1所述的图像场景解析方法，其特征在于，所述预先训练用于执行图像场景解析的残差网络，包括：

获取包括多个训练样本的训练集；其中，每一训练样本中包含一幅可见光图像以及该图像各像素的场景解析结果；

利用该训练集训练所述残差网络。

4.根据权利要求3所述的图像场景解析方法，其特征在于，

所述标准化是通过softmax函数实现的；

所述自注意力模块为非局部模块non-localblock；

所述目标图像和所述可见光图像为具有天空、地面物体和/或无人机的图像。

5.一种图像场景解析装置，其特征在于，包括：

训练单元，用于预先训练用于执行图像场景解析的残差网络；其中，

所述残差网络包括依次连接的输入层、含有多个卷积层的基本网络层、特征图层、自注意力模块、1*1卷积层和输出层；

所述基本网络层用于从输入层输入的图像数据中提取特征图数据输入特征图层；自注意力模块用于对所述特征图数据重加权并将重加权后的数据与所述特征图数据拼接；所述1*1卷积层用于对拼接后数据的通道数进行调整并将调整后的数据经输出层输出；

在自注意力模块中，输入的所述特征图数据被1*1卷积核处理后形成索引数据、键数据和值数据；通过主成分分析方法对所述键数据进行降维，计算降维后的键数据与所述索引数据的相似度并将该相似度标准化，将标准化后的相似度与所述值数据相乘从而得到所述重加权后的数据；以及

解析单元，用于将目标图像输入训练完成的所述残差网络中，得到目标图像各像素对应的场景。

6.根据权利要求5所述的图像场景解析装置，其特征在于，所述装置进一步包括降维单元，其用于：

将所述键数据转换为N行M列的初始矩阵；

将初始矩阵的每一行进行零均值化处理；

确定经零均值化处理的初始矩阵的协方差矩阵；

获取该协方差矩阵的多个特征值以及每一特征值对应的特征向量；

获取最大的K个特征值以及相应的特征向量，将该特征向量按照对应的特征值从大到小的顺序排列从而形成变换矩阵；

将变换矩阵与初始矩阵相乘从而将所述键数据的维度从M降到K；其中，

N为通道数，M为所述特征图数据的宽度和高度的乘积，K为小于M的正整数。