[发明专利]一种融合ResNet和LSTM的公交车厢拥挤度检测方法

权利要求书

1.一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，该方法包括以下步骤：

S1：部署Tensorflow深度学习框架，对历史公交车厢图像进行预处理，将预处理后的历史公交车厢图像构造为Bus_pic数据集；标注Bus_pic数据集的图像中的人脸区域，构造Bus_pic_brain数据集；

S2：基于构造的Bus_pic数据集，部署ResNet网络，提取Bus_pic数据集中图像的全局特征，训练ResNet网络；

S3：基于Bus_pic_brain数据集，部署LSTM网络，根据数据集中人脸标注，训练LSTM网络；

S4：读取公交车厢图像；

S5：使用S2中训练好的ResNet网络对公交车厢拥挤度进行分类；

S6：使用S3中训练好的LSTM网络对图片中的人脸进行检测，统计乘客个数；

S7：综合步骤S5和S6的检测结果，根据权重，完成公交车厢拥挤度的检测。

2.根据权利要求1所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S1中，对历史公交车厢图像进行预处理包括数字图像点运算、转换为灰度图像，然后将灰度图像转换为二值图像。

3.根据权利要求2所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，数字图像点运算的计算公式为：f'(x,y)＝G[f(x,y)],其中F(x,y)为输入图像F在点(x,y)的像素值，f’(x,y)为输出图像f’在点(x,y)的像素值，G是对F(x,y)的映射函数；

通过灰度直方图转换为灰度图像：统计图像中灰度级出现的次数，直方图离散函数表示为：h(r_i)＝n_ii＝0,1,......,L-1,其中r_i表示图像的第i级灰度，n_i表示图像中灰度级为r_i的像素点个数，h是灰度直方图的映射函数；

转换为二值图像采用灰度阈值变换方法。

4.根据权利要求1-3中任一项所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S2中，ResNet神经网络采用了ResNet101网络结构，卷积层和全连接层共101层网络，其中卷积层共五部分，卷积层设计卷积核大小为1*1，3*3两种，步长为2，个数共有100层，最后有个fc层用于分类，用于分类的函数为：y＝Softmax(x)其中x为经过卷积层得到的一维向量，y为得到的分类结果；

对于ResNet神经网络中的卷积层的各个部分，定义公式为y＝F(x,{W_i})+x；其中x是输入的特征图，y为经过参数W_i计算的输出特征图，F(x,{W_i})表示为需要训练的残差映射函数；

使用Bus_pic数据集，其中将5000张图片用作训练，800张图片用于测试训练过程，设置迭代次数为8000，训练方式为端到端，对ResNet网络的参数进行优化。

5.根据权利要求4所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S3中，采用步骤S2中100层卷积产生的高维特征作为LSTM神经网络的输入。

6.根据权利要求5所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S3中，在LSTM神经网络的训练中，使用学习率e＝0.2进行训练，每1000次迭代将学习率降低为0.8倍，在10000次迭代达到收敛，并且在LSTM输出上使用概率为0.15的随机失活(dropout)；目标损失函数为：

其中：

l_pos＝||b_pos-d_pos||；

b_pos是数据集中边界框的位置，d_pos为模型产生的候选边界框，M,N分别为真实框和候选框的集合。