[发明专利]一种基于深度学习的乘客属性的获取方法、装置及模型训练方法

权利要求书

1.一种基于深度学习的乘客属性的获取方法，其特征在于，包括如下步骤：

步骤1，获取乘客上车的图像流，并标记出图像中包含乘客及附属物的目标框区域，进而得到乘客上车的完整目标框轨迹；

步骤2，使用基于深度学习卷积神经网络训练的属性分类模型，对每个乘客的属性进行分类分析，以每个乘客目标框轨迹中的单个目标框作为模型的检测输入，输出一组对该乘客的属性分类预测的概率结果；所述深度学习卷积神经网络采用一个多任务的深度网络，多任务的深度网络包含基础网络部分和多任务分类网络部分；对所述多任务深度网络结构进行修改，具体修改如下：

步骤22，在基础网络之后，复制一份基础网络输出的特征映射图，进行以下操作：

（1）截取该特征映射图的上半部分，先对上半部分特征映射图进行均值池化操作，得到global_avg1特征向量，再分别连续做两个卷积的操作，然后做Softmax操作，对发型，戴帽子，戴眼镜，戴口罩进行预测；

（2）对完整特征映射图进行均值池化操作得到global_avg2特征向量，连续做两个卷积的操作，然后做Softmax操作，对上衣类型，下衣类型，上衣颜色，下衣颜色，背包，手拎物，其他类别进行预测；

（3）结合global_avg1特征向量和global_avg2特征向量，连续做两个卷积的操作，然后做Softmax操作，对年龄段和性别进行预测；

进而得到乘客各类属性结果。

2.根据权利要求1所述的一种基于深度学习的乘客属性的获取方法，其特征在于，步骤2中所述对多任务深度网络结构进行修改，在步骤22之前还包括步骤21，在网络的浅层特征引出一个分类分支进行视角的分类，该部分的Softmax返回结果为乘客各种属性的权重系数组合，该权重系数反应了不同视角下各属性的置信度B情况；

步骤22之后还包括步骤23，使用视角分类的权重系数组合结果，对步骤22得到的预测结果进行加权处理，进而得到乘客各类属性结果。

3.根据权利要求2所述的一种基于深度学习的乘客属性的获取方法，其特征在于，步骤1中所述标记出图像中包含乘客及附属物的目标框区域，具体为：步骤11，通过图像检测方法检测出乘客及附属物在视频帧图像中的位置，标记出包含乘客及附属物的目标框区域及其置信度A，若当前目标框为第一次出现时，对其附加一个乘客id号，否则与上一帧的相应目标框做相似度计算，若相似度计算结果大于阈值α，则视为同一乘客id号，否则，对该目标框附加一个新的乘客id号。

4.根据权利要求3所述的一种基于深度学习的乘客属性的获取方法，其特征在于，所述相似度计算为IOU计算，所述IOU计算是两相应目标框的交集与其并集的比值。

5.根据权利要求3所述的一种基于深度学习的乘客属性的获取方法，其特征在于，对步骤11中的所述视频帧图像设置检测区域，当检测目标框超出该区域范围时，检测出的目标框无效，不进行乘客id的赋值及轨迹的增加。

6.根据权利要求3-5任一项所述的一种基于深度学习的乘客属性的获取方法，其特征在于，步骤11之后还包括：步骤12，对目标检测方法丢失的一些视频帧图像进行乘客目标框的补全。

7.根据权利要求3-5任一项所述的一种基于深度学习的乘客属性的获取方法，其特征在于，步骤11之后还包括：步骤12，若当前乘客轨迹长度大于2~15帧时，对目标检测方法丢失的一些视频帧图像进行乘客目标框的补全。