[发明专利]边走路边看手机的识别方法及其系统

说明书

本申请涉及图像识别领域，公开了一种边走路边看手机的识别方法及其系统。该方法包括：使用卷积神经网络从包含运动目标的视频图像帧中检测行人和手机，得到行人目标框和手机目标框；确定行人目标框包围手机目标框；使用神经网络检测行人目标框中预先设定的多个人体关键点；在连续的视频图像帧上对多个人体关键点和手机框进行视频目标跟踪；如果在连续N个视频图像帧上，多个人体关键点和手机框相对于行人目标框的相对位置变化均小于预定的第一阈值，并且行人目标框在空间坐标系中的位移超过预设的第二阈值，则判定行人发生了边走路边看手机的行为，从而实现异常行为的自动识别。

技术领域

本申请涉及图像识别领域，特别涉及边走路边看手机的识别技术。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是已被公开的现有技术。

在很多工地生产场景下，生产的安全性至关重要，例如在工作场所都会要求带安全帽、穿工服装、手套、护目镜等，近些年除了劳保物品穿戴要求外，还对一些行为进行了约束，如走路不能看手机行为。因为一边走路一边看手机导致行人无法注意到环境中存在的危险，在生产工地这种有一定危险性的场景中，容易造成人身事故。

目前有两种方法识别该异常行为。方法一：在施工地雇佣大量的人力，在需要监控的地点实时监测，发现有该异常行为，则记录下产生的地点和时间，并对该异常行为产生预警和干预。方法二：在视频监控技术发达的今天，工地可以购买大量的网络摄像头和录像系统，并雇佣少量人力在录像系统中查看视频录像，人眼翻阅视频流。发现视频中有该异常行为，则产生告警记录，事后根据告警记录进行干预。

以上两种方法都会存在比较大问题。

方法一的问题在于，(1)人力消耗巨大，在多个点位需要多个安保人员实时侦察。(2)人工的工作强度大，工作环境不稳定，无论春夏秋冬、刮风下雨都需要保持警惕，及时通告告警事件。

方法二的问题在于：(1)虽然相比方法一减少了不少的人力，但仍需要一定量的人力查看视频；(2)人工查看视频工作量比较大，对眼睛负担太重，身体损害大。(3)因为人力是翻阅录像，告警有一定的延时，延时取决于人力数量和延时需求，无法做到当有违规事件产生时就告警。

发明内容

本申请的目的在于提供一种边走路边看手机的识别方法及其系统，可以自动识别出边走路边看手机的异常情况，且可以做到高度实时地告警。

本申请公开了一种，边走路边看手机的识别方法，包括：

获取视频图像帧；

使用卷积神经网络从包含运动目标的视频图像帧中检测行人和手机，得到行人目标框和手机目标框；

确定所述行人目标框包围所述手机目标框；

使用神经网络检测所述行人目标框中预先设定的多个人体关键点；

在连续的视频图像帧上对所述多个人体关键点和所述手机框进行视频目标跟踪；

如果在连续N个视频图像帧上，所述多个人体关键点和所述手机框相对于所述行人目标框的相对位置变化均小于预定的第一阈值，并且所述行人目标框在空间坐标系中的位移超过预设的第二阈值，则判定所述行人发生了边走路边看手机的行为，N为预先设定的大于1的整数。

在一个优选例中，所述使用卷积神经网络从包含运动目标的视频图像帧中检测行人和手机，之前还包括：

使用背景建模方法检测出所述包含运动目标的视频图像帧。

在一个优选例中，所述使用背景建模方法检测出所述包含运动目标的视频图像帧，进一步包括：

对视频图像帧的每一个点建立多个高斯模型；