[发明专利]一种基于交互属性监督的行人检测方法

说明书

本发明公开了一种基于交互属性监督的行人检测方法，属于行人检测技术领域。本发明在设置行人交互数据集，并把数据集图片中的行人间交互性沟通属性信息标签和行人交互性姿态属性标签标注出来，增加了行人间遮挡问题处理的先验条件。本发明把交互数据集中标注的行人交互属性信息用在区域提案网络层分类候选框的支路和最终的分类层支路，并引入交互属性的沟通损失和姿态损失，增加了交互属性对检测走向的约束，可以让网络在训练的时候就对该区域是否存在多行人遮挡情况进行判断，减少了行人间遮挡对检测精度的影响。

技术领域

本发明涉及行人检测技术领域，特别涉及一种结合行人交互属性监督的检测方法。

背景技术

行人检测在智能视频监控、智能汽车及交通中都有着重要的应用。通过对行人的检测、跟踪、轨迹分析及行为识别，系统可检测异常事件并报警。行人检测与定位的准确性直接影响后续工作乃至整个系统的性能。一般，行人检测主要由“生成检测候选区域”和“行人识别”两个部分组成。即先在图像中生成可能的目标框，然后再对该目标框进行检测并识别是否为行人，但是在行人检测中，行人个体之间的相互遮挡往往会引入大量的干扰信息，进而导致更多的虚检。

发明内容

本发明的发明目的在于：提供一种基于交互属性监督的行人检测方法，解决了行人个体之间的相互遮挡带来的虚检问题。

本发明的基于交互属性监督的行人检测方法，包括下列步骤：

步骤1：构建行人检测网络；

所述行人检测网络包括：特征提取网路层、候选区域池化层、区域提案网络层、全连接层、归一化指数函数、行人位置检测层和分类层；

其中，特征提取网络层用于提取输入图像的特征谱，并将特征谱分别输入候选区域池化层和区域提案网络层；

候选区池化层连接第一全连接层；所述第一全连接层的输出分别接入两个全连接层，其中一个全连接层连接行人位置检测层，用于输出行人的位置检测框；另一个全连接层连接归一化指数函数，该归一化指数函数与分类层相连，用于输出行人的类型，包括否为行人，以及行人的沟通交互和姿态交互类型；

区域提案网络的输出与候选区域池化层相连；用于向候选区域池化层输入区域提案；

其中，区域提案网络层的分类候选框的支路上增加行人交互性沟通属性标签与行人交互性姿态属性标签的分类；

步骤2、对行人检测网络进行神经网络学习，并将训练好的行人检测网络作为行人检测器；

设置行人交互数据集；

其中，行人交互数据集包含大量无标定的行人图片；并对其中的每张行人图片带有行人个体的识别框，行人交互性沟通属性标签，行人交互性姿态属性标签的图片；

其中，行人交互性沟通属性包括是否在谈话；行人间交互性姿态属性包括是否在牵手，是否有搭肩，是否面对面，是否有前后位置关系；

设置行人检测网络的损失函数为多任务损失：

基于分类层输出的行人交互性沟通属性标签与行人交互性姿态属性标签的分类结果分别与真实标签的差异分别建立沟通损失和姿态损失；

基于行人检测网络的行人位置检测层输出的位置检测框与标定的识别框之间的差异建立检测框回归损失；

基于分类层输出的是否为行人的分类结果与对应的真实分类结果的差异建立原始分类损失；

基于沟通损失、姿态损失、检测框回归损失和原始分类损失的加权和得到多任务损失；

即基于行人检测网络的损失函数，当最近两次输出的损失值变化率不超过预设阈值时，则停止训练，保留当前网络参数，得到训练好的行人检测网络。