[发明专利]一种基于RGB和D信息融合的人流量统计方法

权利要求书

1.一种基于RGB和D信息融合的人流量统计方法，其特征在于，包括如下步骤：

步骤1，采集包含人头信息的图像样本，样本中既包括RGB图像也包括Depth图像，得到RGB图像的数据集B1和Depth图像的数据集B2，以及RGB图像样本的人头区域标记数据集L；

步骤2，利用人头区域标记数据集L对数据集B1进行处理，获得处理后的数据集Y；

步骤3，利用数据集Y提取的HOG特征以及相应的样本标签，训练一个SVM分类器，将训练好的分类器结果文件保存成结果文件C；

步骤4，利用文件C，对新输入视频中的每一帧图像进行基于RGB图像的人头区域检测，得出人头区域候选框D1；

步骤5，使用深度图像卷积滤波算法DCCFA对Depth图像进行处理得到滤波图，基于滤波图得到人头区域候选框D2；

步骤6，利用人头区域候选框D1和D2，得到最终人头预测框D；

步骤7，基于最终人头预测框D进行行人的跟踪，记录行人的运动轨迹J；

步骤8，基于运动轨迹J，分析每个经过最终人头预测框D的行人的运动进出方向，从而统计每个时刻的出入人数；

步骤1包括如下步骤：

步骤1-1，使用摄像头对来往人流进行摄像，获取人流视频；

步骤1-2，对于人流视频的每一帧进行图像保存，其中包括RGB图像以及Depth图像；

步骤1-3，对于RGB图像进行人头区域的标定框绘制，并保存标定框坐标，得到人头区域标记数据集L；

步骤2中，根据标定的人头区域的标定框对数据集B1进行裁剪，该标定框为矩形框，将该矩形框中的部分裁剪出来作为正样本，赋予其样本标签1，不在该矩形框中的其他区域进行随机裁剪作为负样本，并为其赋予样本标签0，同时，将所有正负样本大小缩放到统一尺寸，设处理后所有的正负样本组成数据集Y；

步骤3中，提取数据集Y中所有正负样本的HOG特征向量，将HOG特征向量结合其对应的样本标签输入SVM分类器中进行训练，保存训练的结果为.txt文件，记为C；

步骤4中，用文件C处理新输入视频中的每一帧图像，使用多尺度的滑动窗口对整张图像进行判断，对于区域返回为真值true的确定为人头区域，然后给予这些获取的人头区域做NMS非极大值抑制操作，将最终的区域框大小进行微调后保存为人头区域候选框D1；

步骤5中，通过深度图卷积滤波算法DCCFA对Depth图像进行卷积滤波处理：

dist(x,y)＝DCCFA(src(x,y))，

其中，dist(x,y)表示经过深度卷积滤波算法后的每个像素点的值，src(x,y)表示Depth图像的每一个像素点的值，DCCFA(src(x,y))表示对输入的原始depth图像进行卷积滤波算法处理；

对于DCCFA算法，它的每一个卷积核内的计算原理如下：

c＝center(kernal)，

center(kernal)表示取c为卷积核中心点；

对当前范围内的所有点进行如下操作：

pixel(x,y)＝pixel(x,y)-pixel(c),(x,y)指示当前操作范围内点集中的每一点；

pixel(x,y)表示坐标(x,y)处的像素值，pixel(c)表示卷积核中心点c的像素值；将卷积处理后的图像记为depth_filter，然后设定一个阈值，基于阈值判断该区域是否为人头区域，当该区域的像素值大于阈值时，则判断为人头区域并将该区域作为候选框保存下来，从而得到人头区域候选框D2。

2.根据权利要求1所述的方法，其特征在于，步骤6中，将人头区域候选框D1和D2进行非最大值抑制操作，分别将两组候选框的重标记区域删除，获得删减后的两组候选框，对这两组候选框取交集，只有同时被RGB以及Depth图像检测出了是人头区域的区域才是最终算法预测的人头区域，从而得到最终人头预测框D。

3.根据权利要求2所述的方法，其特征在于，步骤7中，利用最终人头预测框D在图像depth_filter上进行KCF追踪，获取每个通过进出口的行人的运动轨迹J。

4.根据权利要求3所述的方法，其特征在于，步骤8中，利用步骤7得到的行人运动轨迹J，通过判断该行人运动轨迹的起点和终点的坐标信息判断该人的运动方向为进还是出，当该人离开检测区域时通过判断该行人的运动轨迹是否通过计数线，来决定本次统计中是否将这个人的进出信息添加。