[发明专利]一种检测人“玩手机”的方法及系统

权利要求书

1.一种检测人“玩手机”的方法，其特征在于，所述方法包含以下步骤：

S1. 获取当前环境中的视频信号，得到待检测视频和训练样本；

S2. 检测所述视频中所有的人和手机；

S3. 如果检测到所述视频中没有人或手机出现，则判断为没有人玩手机；

S4. 如果检测到所述视频中有人和手机出现，用特征提取模型提取每个人和每个手机的特征，所述特征至少包括：

每个人体的二维人体关节点坐标、三维人体关节点坐标；

每个手机的二维尺寸坐标、三维尺寸坐标；

每个人和手机的视觉特征；

S5. 将所述每个人和手机的特征输入到特征关系判断模型，计算每个人和手机之间的关系特征；

S6.将每个人和每个手机的特征、以及它们之间的关系特征输入到判断模型，判断当前时刻中每个人是否在玩手机；

S7.对结果进行处理。

2.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，步骤S2至少包括，利用计算机视觉算法检测出当前帧图片中的所有人和手机。

3.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，所述视觉特征，包括但不限于基于传统机器学习算法或者深度学习提取得到的特征。

4.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，进入步骤S4之前还包括以下操作：

构建一个人体关键点模型和一个3D目标检测模型；

用训练样本训练人体关键点模型和3D目标检测模型，得到所述的特征提取模型。

5.如权利要求4所述的一种检测人“玩手机”的方法，其特征在于：

所述人体关键点模型为openpose模型，用于计算每个人体的二维、三维关节点坐标；

所述3D目标检测模型为centerNet模型，用于计算每个手机的二维尺寸坐标、三维尺寸坐标。

6.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，步骤S5所述每个人和每个手机的关系特征至少包括：

动作意图关系：包括人拿手机，未拿手机，人看手机，人未看手机；

空间关系：包括前、后、左、右、上、下；

将动作意图关系和空间关系组合得到关系特征。

7.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，进入步骤S5之前还包括以下操作：

构建一个深度学习模型；

用特征提取模型从训练样本中提取每个人和每个手机的特征，用所述特征训练上述深度学习模型，得到最终的特征关系判断模型。

8.如权利要求7所述的一种检测人“玩手机”的方法，其特征在于，所述深度学习模型为具体为视线估计模型。

9.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，步骤S6所述将每个人和每个手机的特征、以及它们之间的关系特征输入到判断模型，判断当前时刻中每个人是否在玩手机，包括：

对于当前时刻视频，获取当前时刻之前的一段时间内以及当前时刻的视频中，每个人和每个手机的特征、以及它们之间的关系特征；

将上述所有特征输入到判断模型，判断当前时刻中每个人是否在玩手机。

10.如权利要求1所述的一种检测人“玩手机”的方法，其特征在于，进入步骤S6之前还包括以下操作：

a. 构建一个时序序列模型；

b. 用特征提取模型和特征关系判断模型从训练样本中提取每个人和每个手机的特征、以及它们之间的关系特征，用于训练上述时序序列模型，得到最终的判断模型。

11.如权利要求10所述的一种检测人“玩手机”的方法，其特征在于，所述时序序列模型为LSTM模型。