[发明专利]一种基于人脸识别的用户行为信息统计方法

权利要求书

1.一种基于人脸识别的用户行为信息统计方法，其特征在于，包括了以下步骤：

步骤1：架设若干的摄像单元进行场景的连续拍摄，每两个摄像头之间具有视野重合区；

步骤2：以固定频率从各个摄像单元的视频流中获取最新帧，赋予时间戳，并将获取的帧储存到各自视频流的相应队列中，且每个队列设有timeout，队列中的帧在timeout后会被舍弃；

步骤3：不断从各个队列中获取距离当前时间的t的帧，进行目标检测，如帧中存在检测目标，则将该帧发送至步骤4；若帧中不存在检测目标，则将该帧发送至步骤5和步骤6；

步骤4：对于含有检测目标的帧，进行目标分析，并将分析得到的各个目标信息和该帧一起发送至步骤5；

步骤5：通过接收到的帧，对每个队列的背景进行计算和更新；

步骤6：对于接收到的帧，通过对其和与其在时间上相邻且并属于同一视频流的若干帧的目标信息的分析，滤除不合理的目标信息，并增补合理存在的目标信息；若该帧最终存在目标信息，则将其发送至步骤7；

步骤7：对于接收到的帧中的每一个目标进行人脸识别；

步骤8：对于接收到的帧，根据其包含的目标信息，对每个检测目标进行颜色特征直方图计算，并发送至步骤9；

步骤9：对于接收到的帧，按视频流进行分类，对于属于同一视频流的帧，通过对其中所包含的目标的颜色特征、位置信息、时间信息的分析，新建或合并目标轨迹；若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10；

步骤10：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；然后根据每个目标轨迹所包含的各个时刻的人脸信息，对其进行拆分合并，对于没有任何人脸信息的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并；若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹；

所述的步骤3中目标检测采用YOLO系列算法，获取帧队列时间长度t不小于2秒；

所述的步骤5中，背景的计算和更新包括：

步骤51：创建一个与背景图大小相同的列表，表中的每个元素记录了对应像素位置的以下信息：该像素位置出现过的颜色、每个颜色出现的次数、每个颜色最后出现的时间，并根据预设规则进行舍弃；

步骤52：获取当前待处理帧中的最新待处理的帧，丢弃其它帧；

步骤53：对于每个像素位置，取最新待处理的帧中该像素位置和与其相邻位置的若干像素，对取出的像素求平均，得到该像素的RGB颜色均值，检索列表中的该位置，与该位置出现过的每个颜色进行比较，若与某颜色与该像素的RGB颜色均值R，G，B差值都小于8，则更新该颜色的出现次数、最后出现时间；反之，则将其添加到列表中；

步骤54：背景图中每个像素的颜色为对应像素位置出现次数最多的颜色，并完成背景部分的更新；

所述的步骤6中，目标信息的滤除和增补具体方法如下：

步骤61：接收最新待处理的帧，并取出与最新待处理的帧在时间上相邻并属于同一视频流的前后若干帧；

步骤62：分析前后若干帧的目标信息，若最新待处理的帧中位置P没有目标，而在前后若干帧中，在位置P附近有目标,则认为最新待处理的帧在位置P附近有目标，根据加权平均数计算最新待处理的帧中目标的大小和位置，标记该目标为估算；若最新待处理的帧中的位置P有目标，而在前后若干帧中位置P附近都无目标，则舍弃新待处理的帧中的该目标；

所述的步骤8中检测目标的颜色特征直方图计算具体包括：

步骤81：根据检测目标的位置信息截取背景的相应部分；

步骤82：将目标图像与相应背景图像进行grid分割，每个grid为32×32像素；

步骤83：目标图像中的每个grid中的每个像素都会与背景图片中对应grid的对应像素进行比较，通过判断R，G，B差值标记相似或不相似；若对于某个grid，相似的像素数大于80%，则将该grid中所有像素标记为相似；若对于某个grid，相似的像素数小于20%，则将该grid中所有像素标记为不相似；

步骤84：遍历所有的grid，并使用所有不相似的像素进行颜色直方图计算；

所述的步骤9目标轨迹追踪具体包括：

步骤91：对于接收到的帧，按视频流进行分类；

步骤92：对于属于同一视频流的帧，按时间戳从小到大的顺序进行处理；

步骤93：取出该帧中的所有检测到的目标，和当前正在追踪的目标轨迹进行匹配，其中，目标轨迹包含有如下信息：目标ID、目标清单、短期颜色特征和长期颜色特征；

步骤94：对于当前的每个轨迹，与该帧中每个目标进行颜色特征和距离的比较，计算得分，选出得分最高的目标，若得分大于阈值，则将目标加入目标清单；若该帧中的某个目标无法与任何轨迹相匹配，则新建一个轨迹；

步骤95：若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10。