[发明专利]多人实时三维动作识别评估方法、装置、设备及介质

权利要求书

1.一种多人实时三维动作识别评估方法，其特征在于，包括：

利用YOLOV5检测输入的数据源中每一张图片中得到目标框并利用openpose模型识别每一张图片中全部人员的关节点以及所述关节点对应的二维坐标；

选取任一张图片并判断其是否为正常图片；

若是，则根据YOLOV5检测得到目标框与openpose得到的关节点分布的对应关系，结合相邻图片中关节点的变化情况，使用广度搜索方法将当前图片与其相邻图片中的关节点距离最近的判定为同一人，从而划分每张图片中的不同人员；

若否，则结束对当前图片的解析并继续识别下一张图片；

利用三维人体姿态估计基线将全部正常图片中的二维坐标转换为三维坐标；

根据每张所述正常图片中的三维坐标提取特征向量；

使用k近邻算法将每张所述正常图片的特征向量与样本动作类型对应的样本向量进行搜索比对，得到每张所述正常图片对应的动作类型。

2.根据权利要求1所述的方法，其特征在于,所述数据源中全部图片为根据时序排列的图片。

3.根据权利要求1所述的方法，其特征在于,所述利用Openpose模型识别输入的数据源中每一张图片中全部人员的关节点及每个所述关节点对应的二维坐标的步骤之后，以及，所述利用三维人体姿态估计基线将全部正常图片中的二维坐标转换为三维坐标的步骤之后，所述方法还包括：

利用减去平均值并除以标准差的方法对所述二维坐标和所述三维坐标进行归一化。

4.根据权利要求1所述的方法，其特征在于,所述选取任一张图片并判断其是否为正常图片的步骤，包括：

选取任一张图片并获取其关节点对应的二维坐标；

若能获取所述二维坐标，则判定该图片为正常图片；

若无法获取所述二维坐标，则判定该图片为异常图片。

5.根据权利要求1所述的方法，其特征在于,所述根据yolov5检测得到目标框与openpose得到的关节点分布的对应关系，结合相邻图片中关节点的变化情况，使用广度搜索方法将当前图片与其相邻图片中的关节点距离最近的判定为同一人，从而划分每张图片中的不同人员的步骤之后，所述方法还包括：

根据所述相邻图片中的关节点对应的二维坐标对当前图片的缺失值进行填充。

6.根据权利要求1所述的方法，其特征在于,所述三维人体姿态估计基线的表达式为其中，x_i为输入的二维坐标，f(x_i)为转换后的三维坐标，y_i为真实人体关节点坐标，L为损失函数。

7.一种多人实时三维动作识别评估装置，其特征在于，包括：

识别模块，用于利用YOLOV5检测输入的数据源中每一张图片中得到目标框并利用openpose模型识别每一张图片中全部人员的关节点以及所述关节点对应的二维坐标；

判断模块，用于选取任一张图片并判断其是否为正常图片；

若是，则根据YOLOV5检测得到目标框与Openpose得到的关节点分布的对应关系，结合相邻图片中关节点的变化情况，使用广度搜索方法将当前图片与其相邻图片中的关节点距离最近的判定为同一人，从而划分每张图片中的不同人员；

若否，则结束对当前图片的解析并继续识别下一张图片；

转换模块，用于利用三维人体姿态估计基线将全部正常图片中的二维坐标转换为三维坐标；

提取模块，用于根据每张所述正常图片中的三维坐标提取特征向量；

比对模块，用于使用k近邻算法将每张所述正常图片的特征向量与样本动作类型对应的样本向量进行搜索比对，得到每张所述正常图片对应的动作类型。

8.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-6中任一项所述的多人实时三维动作识别评估方法。

9.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-6中任一项所述的多人实时三维动作识别评估方法。