[发明专利]一种基于长短期记忆-加权神经网络对视频人群计数的方法

权利要求书

1.一种基于长短期记忆-加权卷积神经网络对视频人群计数的方法，其特征在于，包括以下步骤：

步骤1)：根据不同场景情况估计透视图，进而计算人群自适应密度图；

步骤2)：构建多尺度卷积神经网络解决人群尺度差异问题；

步骤3)：设计加权损失函数解决人群分布不均匀问题；

步骤4)：通过长短期记忆网络获取连续帧之间的关联信息，并对人群计数结果进行后处理；

所述步骤1)具体包括：

(1)：估计人群稀疏场景的透视图

对于人群稀疏场景，根据目标在不同位置的高度信息估计场景透视图M；为增强估计得到的场景透视图的准确性，利用相同目标多个不同帧内的高度信息估计透视图；

(2)：估计人群密集场景的透视图

对于人群密集场景，定义头-头距离为目标头部与其最邻近头部的距离，用于估计场景透视图；利用最小方差拟合获取所有观测值头-头距离与观测值离图像顶端距离的线性关系，估计人群密集场景的透视图M；

(3)：计算人群自适应密度图

根据场景透视图M，生成人群自适应密度图，密度图由以行人头部位置为中心的高斯核与以行人身体为中心的二元分布相加得到，获得标记的行人头部中心Ph后，根据透视图推测行人身体中心Pb，生成自适应密度图为：其中D(p)是自适应密度图中位置p处的密度值，Z是图像中的真实人数，σh表示归一化二维高斯核Nh的方差，σx与σy表示二元分布Nb的方差，令σh＝σx＝0.2M(p),σy＝0.5M(p)，M(p)为任意位置p的值，生成的密度图中某一位置处密度值越高表示该位置人群密度越大；

所述步骤2)具体为：

(1)：构建三通道卷积神经网络(Convolutional Neural Network，CNN)，每个通道由不同参数的卷积滤波器组成，从而具有不同的感受野；

(2)：每个CNN通道前两层卷积后连接步长为2的最大池化层，故不同通道第3层卷积滤波器的输入是原图大小的1/4，从而降低网络的计算量；

(3)：对三个CNN通道的输出进行拼接融合，使得输出特征中包含人群不同的尺度信息，解决人群尺度差异问题；

所述步骤3)具体包括：

(1)：生成不同区域权重：

在训练阶段，根据生成的密度图将人群图像分为低密度、中等密度以及高密度区域，赋予不同区域不同的权重，得到尺寸与输入图像相同的加权矩阵W；设置中等密度区域权重为1，高密度区域权重为2，低密度区域权重为3；

(2)：设计加权欧式距离损失函数：

针对人群分布不均匀问题，提出一种加权欧式距离损失函数增强预测密度图中的高密 度区域，同时抑制预测密度图中的低密度区域，从而增强预测密度图的准确性；加权欧式距离损失函数为：其中N表示样本数目，O表示训练后的网络参数，D(P)表示图像P的生成密度图，Fd(P,O)表示图像P的预测密度图，W表示加权矩阵；

所述步骤4)具体包括：

(1)：设计长短期记忆网络获取连续帧之间的关联信息

将三个CNN通道的融合结果输入卷积-长短期记忆网络，通过长短期记忆机制获取视频连续帧之间的关联信息，并将卷积-长短期记忆网络的输出送入解卷积层进行上采样，弥补前期池化操作造成的细节丢失，输出更为准确的人群预测密度图；

(2)：根据预测密度图进行人群计数

将某帧图像处理后得到的人群预测密度图的所有像素值积分求和，得到该帧图像的预测人数，如果图像内设置了感兴趣区域，仅预测感兴趣区域内的人群个数；

(3)：通过后处理提高人群计数准确性

视频图像的连续性保证了相邻帧人数不会发生突变，利用该特点对连续帧预测人数进行后处理，提高视频人群计数的准确性；对连续帧的人群计数结果进行高斯平滑滤波，提高最终人群计数的准确性。