[发明专利]基于多表征特征提取法进行目标检测的方法

权利要求书

1.基于多表征特征提取法进行目标检测的方法，其特征在于：所述方法通过以下步骤实现：

步骤一、视频或图像被输入到基于多表征特征提取的骨干网络，基于图像空间域和频域信息的多表征特征提取算法提取完备的图像特征，生成包含完备表征信息的特征图；包括：

步骤一一、数据预处理的步骤：

将数据集中的样本通过数据预转换为标准的输入格式；

步骤一二、空间域信息特征提取的步骤：

设经过标准化处理后的图像映射为空间域信息I_s(x，y)，并直接输入到空间域子网，得到空间域特征图F_s；

步骤一三、频域信息特征提取的步骤：

采用快速傅里叶变换将标准化后的图像从空间域转换为频域信息I_f(u，v)；其中，经过傅里叶变换的频域信息与空间域信息之间的映射关系为：

其中，M和N代表输入图像的长度和宽度；

之后，图像的频域信息I_f(u，v)输入至频域子网，提取不同频段的特征，得到频域特征图F_f；

至此，经过数据预处理之后的图像信息分别输入空间信息特征提取分支和频域信息特征提取分支并完成特征提取；

步骤一四、采用自适应融合方式融合提取的空间域特征和频域特征，生成具有完备表征的多表征特征图；

步骤二、区域建议网络利用多表征特征图预测可能出现目标的区域作为候选区域；

步骤三、待选区结合骨干网络生成的多表征特征图进行区域最大池化生成目标特征向量，并用来计算目标类型概率和目标边界框回归参数，完成图像/视频的目标检测。

2.根据权利要求1所述的一种基于多表征特征提取法进行目标检测的方法，其特征在于：步骤一一所述的数据预处理的步骤中，将数据集中的样本通过数据预转换为标准的输入格式的过程包括数据样本采样、数据标准化和样本尺度调整部分，具体为：

(i)所述的数据样本采样部分是将数据集中的样本被统一为图像的形式：

若样本为图像类型，则直接使用图像格式作为模型的输入，若样本为视频类型，则用间隔采样方法获得图像帧样本，将采样到的图像帧作为模型的输入；

(ii)所述的数据标准化部分：

数据集中的样本统一为图像的形式之后，采用下式对图像进行标准化操作，使数据分布均匀化；

其中，I_norm表示标准化之后的图像的矩阵，I表示原图像的矩阵，mean表示图像的均值，std表示图像的方差；设置mean＝(0.485，0.456，0.406)，std＝(0.229，0.224，0.225)；

(iii)样本尺度调整部分：

在给定的N个样本中找到尺度最大的一个样本，记录其宽和高；

创建值全为0并且形状和最大的样本形状相同的张量，将该张量复制N份并在维度0上进行连接操作；

遍历所有样本复制到新生成的张量，并对齐左上角保证坐标不变。