[发明专利]基于人体关键点检测改进演讲者姿体动作的方法及系统

权利要求书

1.一种基于人体关键点检测改进演讲者姿体动作的方法，其特征在于，包括以下步骤：

在数据库中存储标准的预设人体关键点数据以及每一组预设人体关键点数据对应的描述语；

通过摄像头装置，获取带有深度信息的视频流；

从所述带有深度信息的视频流中提取人体关键点信号，将所述人体关键点信号与数据库中的预设人体关键点数据进行逐一比对，将人体关键点组合的欧几里得距离与数据库中预设人体关键点组合状态的阈值进行比对，若欧几里得距离小于正常状态下的阈值并且与异常状态下的阈值差小于所述正常状态下和异常状态下的阈值差的1/2，判定比对成功，获取所述组预设人体关键点数据对应的描述语；将所述描述语语音播报给用户；

其中，所述人体关键点信号包括人体2D关键点位置组合，包括：右眼的上眼皮外侧点(37)、上眼皮内侧点 (38)、下眼皮内侧点 (40)和下眼皮外侧点 (41)的4个关键点位置组成的组合一，左眼的上眼皮内侧点 (43)、上眼皮外侧点 (44)、下眼皮外侧点 (46)和下眼皮内侧点 (47)的4个关键点位置组成的组合二，右眉毛的内侧点 (21)和左眉毛内侧点(22)的关键点位置组成的组合三；对应的所述人体关键点组合的欧几里得距离为：分别计算得到的组合一、组合二和组合三中对应的各关键点的坐标在图像坐标系中v值或u值的欧几里得距离的累加和；

若所述人体关键点信号与数据库中预设人体关键点数据的差异大于或等于阈值时，返回重新获取带有深度信息的视频流，重新提取人体关键点信号，进行比对。

2.一种基于人体关键点检测改进演讲者姿体动作的系统，其特征在于，包括：

存储模块，用于在数据库中存储标准的预设人体关键点数据以及每一组预设人体关键点数据对应的描述语；

输入模块，用于通过摄像头装置，获取带有深度信息的视频流；

3D人体关键点检测模块，用于从所述带有深度信息的视频流中提取人体关键点信号输入控制模块；

控制模块，用于将所述人体关键点信号与数据库中的预设人体关键点数据进行逐一比对，将人体关键点组合的欧几里得距离与数据库中预设人体关键点组合状态的阈值进行比对，若欧几里得距离小于正常状态下的阈值并且与异常状态下的阈值差小于所述正常状态下和异常状态下的阈值差的1/2，判定比对成功，获取所述组预设人体关键点数据对应的描述语；语音提示模块，用于将所述描述语语音播报给用户；

其中，所述人体关键点信号包括人体2D关键点位置组合，包括：右眼的上眼皮外侧点(37)、上眼皮内侧点 (38)、下眼皮内侧点 (40)和下眼皮外侧点 (41)的4个关键点位置组成的组合一，左眼的上眼皮内侧点 (43)、上眼皮外侧点 (44)、下眼皮外侧点 (46)和下眼皮内侧点 (47)的4个关键点位置组成的组合二，右眉毛的内侧点 (21)和左眉毛内侧点(22)的关键点位置组成的组合三；对应的所述人体关键点组合的欧几里得距离为：分别计算得到的组合一、组合二和组合三中对应的各关键点的坐标在图像坐标系中v值或u值的欧几里得距离的累加和；

所述控制模块，还用于在所述人体关键点信号与数据库中预设人体关键点数据的差异大于或等于阈值时，返回通知输入模块重新获取带有深度信息的视频流，并重新提取人体关键点信号，进行比对。

3.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1所述方法的步骤。