[发明专利]一种基于特征融合的多视角行人检测方法

权利要求书

1.一种基于特征融合的多视角行人检测方法，其特征在于，包括：

步骤1：从多角度采集行人的图像数据作为样本集；

步骤2：构建集成特征融合和关键点检测的神经网络模型，并利用样本集对神经网络进行训练；

步骤3：对实时采集的图像数据利用训练后的神经网络模型进行行人位置的检测。

2.根据权利要求1所述的一种基于特征融合的多视角行人检测方法，其特征在于，所述步骤1包括：

步骤1.1：采集N个视角的图像数据，设置N个相机采集一段时间内经过某一路口的行人图像数据；

步骤1.2：将同一时刻采集的N张图像作为一组样本数据。

3.根据权利要求1所述的一种基于特征融合的多视角行人检测方法，其特征在于，所述步骤2包括：

步骤2.1：构建双分支的特征融合结构进行N个视角图像的特征提取；

步骤2.2：利用透视变换将特征融合结构输出的特征图进行角度的转换，得到同一角度下的N张特征图；

步骤2.3：通过特征投影将N张特征图进行拼接，拼接后的特征图通过一个1*1卷积层输出，得到每组样本数据对应的一张鸟瞰图；

步骤2.4：构建回归分支，将经过步骤2.1处理后的特征图作为回归分支的输入，利用卷积神经网络得到目标的中心点；

步骤2.5：根据样本集对双分支的特征融合结构以及回归分支利用反向传播进行训练。

4.根据权利要求3所述的一种基于特征融合的多视角行人检测方法，其特征在于，所述步骤2.1中双分支的特征融合结构包括两个分支，第一个分支为ResNet网络，第二个分支包括四个子网络，每一个子网络包括一个3x3的卷积层、一个1x1的卷积层、一个自适应平均池化层和一个激活层。

5.根据权利要求3所述的一种基于特征融合的多视角行人检测方法，其特征在于，所述步骤2.2包括：

步骤2.2.1：通过逐点变换实现三维位置坐标和二维图像像素坐标之间的转换，公式如下：

其中，(x,y,z)为三维位置坐标，(u,v)为二维图像像素坐标，s为真值比例因子，P_θ为3×4透视变换矩阵，A为3×3内参矩阵，[R|t]为3×4旋转-平移矩阵，R表示旋转，t表示平移；

步骤2.2.2：以地平面为参考系，令z＝0，将所有三维位置坐标逐点变换为：

其中，P_θ,0表示消掉了第三列的透视变换矩阵。

6.根据权利要求3所述的一种基于特征融合的多视角行人检测方法，其特征在于，所述步骤2.4中所述回归分支包括一个1*1的卷积层将特征图的通道数调整为64，一个激活层增强网络表达能力，一个1*1卷积网络调整通道数由64为1，通过回归分支得到的一个特征图携带着每一个目标的中心位置坐标信息。

7.根据权利要求3所述的一种基于特征融合的多视角行人检测方法，其特征在于，所述步骤2.5包括：

步骤2.5.1：计算每个热力图峰值点的损失值loss；

步骤2.5.2：计算鸟瞰图上每个目标位置的损失值loss；

步骤2.5.3：将步骤2.5.1和步骤2.5.2得到的损失值loss求和并进行反向传播调整参数，当评价指标MODA值的变化率小于设定阈值时训练结束。