[发明专利]一种基于深度学习的监控视频多目标分类检索方法及系统

权利要求书

1.一种基于深度学习的监控视频多目标分类检索方法，其特征在于，包括以下步骤：

(1)提取待检索目标：输入待检索图像，通过自动检测或人工抠取的方式选择待检索目标，并明确其类别；

自动检测时，采用深度学习目标检测模型获取输入图像中所有人或车的精确位置及具体类别，用户根据需要选择其中的某个目标进行检索；人工抠取时，由用户从输入图像中框选待检索的目标及其所在位置，并选择其对应的类别；

(2)提取深度特征：利用深度学习特征提取模型提取待检索目标的深度特征；所述特征提取模型的卷积神经网络包括输入层、19个卷积层、5个池化层和输出层，可提取人、小汽车、面包车、大巴车、卡车、摩托车六个类别的深度特征，维度均为1024；

(3)目标检索：根据待检索目标的类别，将待检索目标的深度特征与检索数据库中同类目标的深度特征进行比对，得到与之最为相似的目标；

(4)检索结果展示：检索结果按照相似度从高到低展示，选取某个检索结果，可静态展示其在关键帧中的具体位置，并可动态展示其在监控视频中的运行轨迹；

所述目标检测模型的卷积神经网络包括输入层、22个卷积层、5个池化层和输出层，检测类别包括人、小汽车、面包车、大巴车、卡车、摩托车六类，训练使用的损失函数如下：

训练样本被划分为13×13个单元格，每个单元格预测9个目标，其中与该单元格处标记目标重叠面积最大的预测目标的为1，其它8个预测目标的为0；如果预测目标位置不包含标记目标，则其为1，反之，其为0，x_i,y_i,w_i,h_i,C_i分别代表为1预测目标的中心点x坐标、中心点y坐标、宽度、高度、置信度；分别代表标记目标的中心点x坐标、中心点y坐标、宽度、高度、置信度，class代表检测的目标类别，p_i(c)为每个类别的预测概率，为每个类别的标记概率；

在提取目标之前，首先训练深度学习模型，然后构建检索视频库，所述训练深度学习模型包括目标检测模型和特征提取模型；训练深度学习模型为：搜集大量包括人或车类目标的监控视频图片，图片涵盖白天和夜晚等多时段不同光照条件、晴天和雨天等不同环境、治安监控和交通监控等不同场景，车分为小汽车、面包车、大巴车、卡车、摩托车五个类别，每个图片均标记出其中的人或各类车的位置及具体类别，形成对应每个图片的标记文件，并截取各个目标的抠图保存；

将所有图片中目标的抠图及其类别输入到深度卷积神经网络中训练得到深度学习的特征提取模型；将图片及记录其中人或各类车精确位置和具体类别的标记文件输入到深度卷积神经网络中训练得到深度学习的目标检测模型；

所述构建检索视频库为：通过运动分析提取监控视频中所有运动目标的运行轨迹和包含运动目标的关键帧；利用深度学习模型提取关键帧中人或车类目标的精确位置、具体类别和深度特征，保存到检索数据库中；将人或车类目标与运动目标匹配得到对应的运行轨迹，保存到检索数据库中；具体过程如下：

(101)导入待检索监控视频，通过逐帧运动分析得到每个监控视频中的所有运动目标并跟踪其运行轨迹，同时提取包含运动目标的关键帧；

(102)利用深度学习目标检测模型提取关键帧中的人或车类目标，得到其精确位置和具体类别，将每个目标对应的关键帧、位置、类别保存到检索数据库中；

(103)利用深度学习特征提取模型提取每个人或车类目标的深度特征，保存到检索数据库中；

(104)将提取出的人或车与运动分析得到的运动目标进行匹配，得到其对应的运行轨迹，保存到检索数据库中。

2.根据权利要求1所述的一种基于深度学习的监控视频多目标分类检索方法，其特征在于，检索数据库保存监控视频中所有人或车类目标所在的关键帧、目标位置、目标类别和目标深度特征。

3.根据权利要求1所述的一种基于深度学习的监控视频多目标分类检索方法，其特征在于，步骤(3)中，选择待检索目标时，自动检测方式采用深度学习目标检测模型获取待检索图像中所有人或车类目标的精确位置及具体类别，用户根据需要选择其中的某个目标进行检索；人工抠取方式由用户从待检索图像中框选待检索的目标及其所在位置，并选择其对应的类别。