[发明专利]一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法

权利要求书

1.一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，其特征在于，包括以下步骤：

（1）准备车辆数据集，所述车辆数据集包含有经过四点车前窗对齐算法对齐过的模糊车辆图片；

（2）使用降噪算法对车辆数据集中的图片进行降噪处理；

（3）通过插值函数对图片进行局部超分辨率复原，目标区域为对齐后的前车窗；

（4）对复原后的图片进行特征检测，提取特征描述子；

（5）通过特征描述子比对判断是否存在小目标；

步骤（1）中，车辆数据集所采集的模糊车辆图像具有尺度、场景的变化，通过改进版的MTCNN算法进行车辆对齐，得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标，即收集车脸四角在图像中的位置信息；

改进版的MTCNN算法具体为：

1）将车辆数据集划分为训练集和测试集，使用LabelImg工具标注训练数据集；进一步为：

将车辆数据集划分为训练集和测试集，可随机划分，划分比例为：训练集占90%，测试集占10%，下载并安装LabelImg工具，将类别文件中的值改为car，考虑到车脸的对称性，选取车前窗左下角、右下角，车头左下角、右下角为特征点，对训练集中的车辆图像标注车前窗左下角、右下角，车头左下角、右下角，共四个特征点，即收集车脸四角在图像中的位置信息；

2）修改MTCNN算法中的图像读取文件，更改特征点数量，将原本读取5个特征点更改为读取4个特征点；进一步为：

修改MTCNN算法模型中的图像读取label.xml标签文件的函数，通过函数读取特征点向量列表，即lable.xml，将读取到的的特征点向量列表的第7、8位删除，即删除第五个点的坐标数据，更改特征点个数为4；

3）训练MTCNN算法模型，使用标注后的训练集中的图像进行算法模型的训练，得到训练后的MTCNN算法模型；

4）指定目标图片并使用resize()构建图像金字塔，进一步为指定目标图像，即指定测试集中的一张图像进行算法模型的应用验证；

对给定的车辆图像，使用resize()函数将其缩放到不同尺度形成图像金字塔，以适应不同大小的车脸；图像金字塔中，最小尺寸为20×20，最大尺寸为100×100，单位为像素，分辨率无要求；

5）将图像金字塔导入MTCNN算法模型，经过P-Net进行第一级处理；进一步为：

将图像金字塔导入MTCNN算法模型，首先经过P-Net，通过一个全卷积神经网络进行初步特征提取，生成预测窗和边框回归向量，使用边框回归的方法来校正预测窗，并使用非极大值抑制的方法来校正这些预测窗，合并重叠的预测窗；

6）P-Net的输出结果进入R-Net进行第二级处理；进一步为：

P-Net的输出结果经过resize()函数修改大小后输入R-Net，R-Net的基本构造比P-Net增加了一个全连接层，用以滤除大量效果较差的预测窗，最后对选定的预测窗进行边框回归和非极大值抑制进一步优化预测结果；

7）R-Net的输出结果进入O-Net进行第三级处理，识别出车脸边框及特征点；进一步为：

R-Net的输出结果经过resize()函数修改大小后输入O-Net，O-Net的基本构造比R-Net增加了一个卷积层，通过更多的监督学习来识别车脸区域，并对四个特征点进行回归，输出四个特征点，同时对选定的预测窗进行边框回归和非极大值抑制进一步优化预测结果，输出最终预测窗和4个特征点，即得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标；

步骤（2）中，根据步骤（1）中车前窗的四个点的坐标，对图片中所匹配的车前窗区域进行方位与数值判断，对车前窗区域进行对齐与矫正操作，保证每一张待测图片中的目标区域的位置保持恒定，对前车窗区域进行降噪处理；

降噪处理采用现有的空间滤波、变换域滤波或形态学噪声滤波器；

步骤（3）中，限定超分辨率复原的区域为车前窗区域，对降噪处理后的车辆图片，通过插值函数对前车窗区域进行局部超分辨率复原，插值函数包括但不限于二次插值、双三次插值的传统机器学习算法及深度学习算法；

步骤（5）中，判断是否存在小目标的方式为：预先提取大量小目标的特征描述子，并将特征描述子提前写入内存中，并设定最小阈值，将待测图片中提取到的特征描述子，与预先提取并写入内存的特征描述子进行度量比较，度量比较方式包括但不限于曼哈顿距离比较和欧几里得距离比较，若其度量比较结果小于所设定阈值，则判定当前特征描述子所代表的特征存在，否则反之。