[发明专利]基于相机协同和三维骨骼估计的双人跳水同步性分析方法

说明书

本发明提供了一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法，该方法包括：利用多个视角的摄像机协同采集跳水运动员的动作图像，将动作图像依次送入姿态提取网络，得到跳水运动员的关键点热力图，根据关键点热力图得到二维关键点信息，将二维关键点信息送入时间卷积网络得到三维骨架信息；根据三维骨架信息计算两位跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值、进行动作相似度、动作时间一致性的评估；利用俯视方向摄像机采集水面图像，并计算水面图像中水花的面积，结合上述结果，对双人跳水的同步性进行分析。本发明可以消除裁判打分时主观因素的影响，分析结果更加客观公正。

技术领域

本发明涉及人工智能领域，尤其是一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法。

背景技术

申请号为200710304226.0的发明专利中提出一种双人跳水同步性自动分析方法，该方法提出了一种一致性特征JFF，需要提取起跳高度、空中动作配合时间和入水时间的一致性特征，提取过程过于复杂且精度难以保证，且起跳高度、空中动作配合时间和入水时间的认定比较模糊。

发明内容

为了解决上述问题，本发明提出一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法，该方法包括：

步骤一，利用侧视方向摄像机和正视方向摄像机分别采集跳水运动员的侧视动作图像和正视动作图像；

步骤二，将侧视动作图像和正视动作图像分别送入姿态提取网络，经过处理后得到跳水运动员的侧视关键点热力图、正视关键点热力图，对侧视关键点热力图和正视关键点热力图分别进行后处理得到跳水运动员的侧视二维关键点信息和正视二维关键点信息；

步骤三，将得到的侧视二维关键点信息和正视二维关键点信息分别作为时间卷积网络的输入，经过处理后得到跳水运动员的侧视三维骨架信息和正视三维骨架信息；

步骤四，根据侧视三维骨架信息计算两位跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值，结合起跳高度、与台板之间的水平距离、入水时角度的余弦值得到评级A；

根据正视三维骨架信息进行两位跳水运动员动作相似度、动作时间一致性的评估，结合动作相似度评估结果和动作时间一致性评估结果得到评级B；

步骤五，当两位跳水运动员中任一位的头部中心点与水面之间的距离小于距离阈值时，利用俯视方向摄像机采集水面图像，从水面图像中选择多帧包括水花的水面图像，并计算选择的多帧水面图像中水花的面积，得到评级C；其中，头部中心点为双耳关键点连线的中心点；利用阈值法计算水面图像中水花的面积；

步骤六，综合评级A、评级B、评级C，得到双人跳水动作同步性的分析结果。

其中，姿态提取网络包括关键点提取编码器和关键点提取解码器，关键点提取编码器对动作图像进行特征提取，输出特征图，关键点提取解码器对特征图进行上采样与特征提取，生成关键点热力图；其中，关键点的选取可参考现有人体姿态估计数据集中选取的关键点，其中，关键点包括大腿根部、左耳、右耳、左肩、右肩、左脚、右脚。

时间卷积网络的一次输入为多帧关键点热力图的二维关键点信息，输出为一个三维骨架的信息。

跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值的计算方法分别为：

连接每个跳水运动员的两个大腿根部关键点，所得直线的中心点为根节点，两个跳水运动员根节点的坐标分别为(x₁，y₁，z₁)，(x₂，y₂，z₂)；跳板边缘中心点的坐标为(x，y，z)；

分别用z₁、z₂的最大值减去z，得到两个跳水运动员的起跳高度H、H₀；