[发明专利]一种基于深度学习的行人属性识别方法和系统

说明书

本发明提供了一种基于深度学习的行人属性识别方法和系统，所述方法包括：根据行人样本数据集构建行人属性数据集，按照平衡类别对所述行人属性数据集的数据进行分类；对于不同平衡类别的数据，使用过采样和/或欠采样进行调整，再次统计分析各个平衡类别的比例，生成交叉熵误差的权重因子；利用行人姿态模型提取颈部臀部关键点，将行人样本数据集中的原始图片分为整体、头部、上半身、下半身四部分，将四部分图片分别输入对应的神经网络模型中；计算每个神经网络模型的交叉熵误差和三元组误差，并将两种误差求和累加，梯度回传训练网络直至收敛；其中所述交叉熵误差由根据所述权重因子修正的交叉熵计算得到；使用训练后的神经网络模型识别行人属性。本发明达到更好的属性识别效果。

技术领域

本发明涉及模式识别技术领域，特别是涉及深度学习中行人属性识别问题中数据分布不均衡的解决方法和系统。

背景技术

随着近些年来，智慧城市安防系统日益完善，视频监控基本遍布城市各个角落。因而一系列的监控视频信息分析工作，例如，目标检测和跟踪，属性识别和检索等，受到了越来越多的研究者的关注。行人作为主要的监控目标是重要的，而对行人的基本属性进行有效的识别，会给监控视频检索工作带来很大的便利。目前，行人属性识别中主要使用的识别算法为人工神经网络，它通过模拟人脑视皮层腹侧通路的信息处理过程，建立多层的神经网络模型，通过已标注数据训练实现属性识别任务。在行人属性识别问题的数据中，行人属性之间差异巨大，例如，在行人发型中，光头的比例相较于长发、短发等，个数是极少的，每一千人甚至不到一个。但这种不平衡容易造成数量少的类别在识别过程中被数据量大的类别覆盖，而导致无法识别或识别的正确率偏低的问题。目前，已有一些工作在解决数据不均衡的方法，主要是针对多分类问题的，但行人属性识别问题的难点在于，它不是一个多分类问题，而是多个多分类任务的合并，但彼此之间又有关联。比如性别，年龄段，发型，都分别是一个多分类任务，但例如光头，更高概率出现在中老年男性中。在行人属性问题中，由于属性的多样性，属性之间的数量差异也不尽相同：有的属性数量基本一致，比如性别中的男女；有的属性之间有一定差异，类似年龄段，儿童和老年数据虽然少，但每一千例中也有一例左右；而有的差距巨大，例如光头一千例中不足一例。对于均衡性不一样的数据，所采取的策略也不完全一样。目前，针对行人属性识别中的数据不均衡的解决方案是缺乏的。

发明内容

为解决上述问题，本发明针对行人属性识别中的数据不均衡设计解决方案。本发明的目的是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于深度学习的行人属性识别方法，包括：

根据行人样本数据集构建行人属性数据集，按照平衡类别对所述行人属性数据集的数据进行分类；

对于不同平衡类别的数据，使用过采样和/或欠采样进行调整，再次统计分析各个平衡类别的比例，生成交叉熵误差的权重因子；

利用行人姿态模型提取颈部臀部关键点，将行人样本数据集中的原始图片分为整体、头部、上半身、下半身四部分，将四部分图片分别输入对应的神经网络模型中；

计算每个神经网络模型的交叉熵误差和三元组误差，并将两种误差求和累加，梯度回传训练网络直至收敛；其中所述交叉熵误差由根据所述权重因子修正的交叉熵计算得到；

使用训练后的神经网络模型识别行人属性。

进一步地，所述平衡类别包括：平衡、不平衡、极不平衡三类。

进一步地，所述行人样本数据集由监控或者视频中的图像中获得，通过截取图像中包含人的部分，得到各种行人的原始图片，组成行人样本数据集。

进一步地，所述行人姿态模型和神经网络模型均采用ResNet18卷积神经网络模型。