[发明专利]渐进式目标精细识别与描述方法

权利要求书

1.一种渐进式目标精细识别与描述方法，其特征在于，包括步骤

步骤一：部件识别

对视频目标进行检测与分割，从而识别目标的各个部件；

步骤二：多粒度特征提取

基于部件识别进一步提取视频目标的多粒度特征；

步骤三：精细化描述

融合多粒度特征来实现目标的精细识别，并生成精细化描述文本信息；

所述步骤一：部件识别包括：

1.1首先对采集的监控视频进行关键帧的提取；

1.2使用深度学习方法对关键帧图像集进行训练，构造区域建议神经网络；在训练过程中，设定的输出类别为视频目标行人；区域建议神经网络对视频帧中的行人进行检测并生成行人检测框；

1.3在行人检测的基础上，使用目标检测网络Faster R-CNN检测并识别目标的不同身体部件；

首先，使用经典的卷积神经网络提取视频中的关键帧的特征图，该特征图后续候选框生成网络层和全连接层共享；然后，候选框生成网络层通过卷积，再分别生成前景候选框和背景候选框以及边框回归的偏移量；通过softmax判断候选框是否属于前景或背景，再利用边框回归修正候选框的大小和位置，最后获得精确的候选框；候选框生成网络层的损失函数如下：

其中，i表示小窗口中候选框的索引，p_i表示候选框i被预测为某个物体的概率，如果候选框为正例，那么等于1，反之等于0；t_i是表示预测边界框的4个参数化坐标的矢量，表示正例候选框的准确位置，L_cls表示分类的损失函数，L_reg表示回归的损失函数；N_cls和N_reg属于归一化参数；

接着，用一个感兴区池化层收集特征图和候选框，综合这些信息后，提取从RPN网络得到的候选框的特征图，送入后续全连接层判定目标类别；最后利用候选框的特征图来计算特征图中的类别，同时再次使用边界回归获得检测框最终的精确位置。

2.如权利要求1所述的渐进式目标精细识别与描述方法，其特征在于，

针对步骤二，采用基于部件的多层次深度特征提取算法，对同一目标基于部件提取多层次深度特征；其中“多层次”体现在从多个粒度层将对象的部件信息附加在类别标记上，“深度”体现在不同粒度层的特征都是利用深度学习方法提取的，以实现输出以类别标记为核心的部件多粒度特征来帮助描述视频目标。

3.如权利要求1所述的渐进式目标精细识别与描述方法，其特征在于，该步骤二：多粒度特征提取

2.1基于行人部件检测结果，采用年龄性别识别网络识别行人的年龄与性别；

2.2基于行人部件检测结果，采用衣着服饰类别网络识别行人的衣着种类；

2.3基于行人部件检测结果，使用基于最大颜色域识别的方法对行人身体部件的衣着基本颜色识别；

具体地，采用衣着颜色识别模块来识别行人的衣着颜色细节；将检测的行人头部、上半身、下半身作为MCI的输入，其步骤为:

a、将图片颜色转为HSV；

b、参考HSV颜色分类定义HSV颜色字典；

c、将过滤后的颜色进行二值化处理；

d、进行图像形态学腐蚀膨胀；

e、统计白色区域面积，面积最大的则为该物体的最大颜色域；

统计出的部件最大颜色域可以作为目标身体部件颜色识别的依据。