[发明专利]一种基于视频的动作检测方法及装置

权利要求书

1.一种基于视频的动作检测方法，其特征在于，所述方法包括：

检测待检测视频的视频帧中的肢体关键点；

根据所述肢体关键点，获得对应的行为特征；

基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度；所述全局动作评估模型是经过训练的神经网络模型；

所述基于所述行为特征及动作评估模型，进行动作完成度检测，获得全局检测结果，之后还包括：

当所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度；

所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述局部动作评估子模型是经过训练的神经网络模型；

所述基于所述行为特征及局部动作评估模型，进行各关节完成度检测，包括：

根据所述肢体关键点，获得各关节特征；

基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测，获得各局部检测结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；

生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述方法还包括：

获得样本视频中人体动作的完成度标注信息；

检测所述样本视频的样本肢体关键点；

根据所述样本肢体关键点，获得对应的样本行为特征；

基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。

4.根据权利要求1-2中任一项所述的方法，其特征在于，所述方法还包括：

获得样本视频中人体的各关节完成度标注信息；

根据所述样本肢体关键点，获得各样本关节特征；

基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。

5.根据权利要求1-2中任一项所述的方法，其特征在于，所述行为特征包括以下信息中的任意一种或任意组合：

人体关节相对于人体的位置；

人体关节的角度；

人体的身体朝向；

人体倾斜角度。

6.一种基于视频的动作检测装置，其特征在于，所述装置包括：

第一关键点检测模块，用于检测待检测视频的视频帧中的肢体关键点；

第一行为特征获得模块，用于根据所述肢体关键点，获得对应的行为特征；

第一完成度检测模块，用于基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度；所述全局动作评估模型是经过训练的神经网络模型；

所述装置还包括：

第二完成度检测模块，用于在所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度；

所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述局部动作评估子模型是经过训练的神经网络模型；

所述第二完成度检测模块，包括：

关节特征获得单元，用于根据所述肢体关键点，获得各关节特征；

完成度检测单元，用于基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测，获得各局部检测结果。