[发明专利]边走路边看手机的识别方法及其系统

权利要求书

1.一种边走路边看手机的识别方法，其特征在于，包括：

获取视频图像帧；

使用卷积神经网络从包含运动目标的视频图像帧中检测行人和手机，得到行人目标框和手机目标框；

确定所述行人目标框包围所述手机目标框；

使用神经网络检测所述行人目标框中预先设定的多个人体关键点；

在连续的视频图像帧上对所述多个人体关键点和所述手机框进行视频目标跟踪；

如果在连续N个视频图像帧上，所述多个人体关键点和所述手机框相对于所述行人目标框的相对位置变化均小于预定的第一阈值，并且所述行人目标框在空间坐标系中的位移超过预设的第二阈值，则判定所述行人发生了边走路边看手机的行为，N为预先设定的大于1的整数；

其中，所述在连续的视频图像帧上对所述多个人体关键点和所述手机框进行视频目标跟踪，进一步包括：

设定多个卡尔曼跟踪器分别跟踪多个目标，其中，目标包括所述多个人体关键点和所述手机框；

如果一个目标首次被检测出来，则将该目标的状态设置为候选目标；

对于每一个候选目标，如果在连续多帧的每一帧中跟踪位置和检测位置的匹配度均满足第一预设条件，则将该候选目标的状态设置为正式目标，否则删除该候选目标；

对于每一个正式目标，如果在连续多帧的每一帧中跟踪位置和检测位置的匹配度均不满足第二预设条件，则将该正式目标的状态设置为消失目标，否则维持该正式目标状态；

对于每一个消失目标，如果在连续多帧的每一帧中跟踪位置和检测位置的匹配度均满足第三预设条件，则将该消失目标的状态设置为正式目标，否则删除该消失目标。

2.如权利要求1所述的边走路边看手机的识别方法，其特征在于，所述使用卷积神经网络从包含运动目标的视频图像帧中检测行人和手机，之前还包括：

使用背景建模方法检测出所述包含运动目标的视频图像帧。

3.如权利要求2所述的边走路边看手机的识别方法，其特征在于，所述使用背景建模方法检测出所述包含运动目标的视频图像帧，进一步包括：

对视频图像帧的每一个点建立多个高斯模型；

在时间轴上不断更新所述高斯模型的均值和方差；

如果当前视频图像帧对应的像素点满足所述多个高斯模型的分布，则该像素点被判定为背景点，否则该像素点被判定为前景点。

4.如权利要求1所述的边走路边看手机的识别方法，其特征在于，所述多个人体关键点包括：左手、右手、左肘、右肘、左肩、右肩和头部。

5.如权利要求1所述的边走路边看手机的识别方法，其特征在于，所述获取视频图像帧，进一步包括：

获取视频码流；

对所获取的视频码流进行解码，得到视频图像帧。