[发明专利]一种基于深度学习的羽毛球运动员轨迹提取方法

权利要求书

1.一种基于深度学习的羽毛球运动员轨迹提取方法，其特征在于采用深度学习的方法从视频中提取运动员球鞋的像素坐标，利用透视投影的方法将像素坐标映射至羽毛球场平面坐标系中，结合平面坐标与相机光轴中心位置对球鞋进行双目定位，以整合每一帧图像的定位结果，羽毛球运动员轨迹的提取具体包括下述步骤：

步骤1：构建羽毛球场环境的空间数据模型

在羽毛球右半场的正左方架设摄像机A，在羽毛球右半场的正后方架设摄像机B，拍摄羽毛球运动影像，并以羽毛球球网柱底部与羽毛球球场左侧边线中点的交点为原点，构建一个右手坐标系的羽毛球场空间数据模型，度量摄像机所处的空间坐标；

步骤2：模型训练与球鞋识别

从视频影像中抽取1500帧影像作为训练样本，使用labelImg工具对球鞋进行标注，并制作标准的Pascal VOC数据集，然后采用VGG16网络作为卷积网络计算原始图像的特征图，利用Faster R-CNN网络对数据集进行模型训练并球鞋检测，若球鞋检测结果为bndbox(x₁,y₁,x₂,y₂)，则以bndbox底边中点((x₁+y₁)/2,y₂)代表一只球鞋，其中，(x₁,y₁)代表bndbox左上角的坐标；(x₂,y₂)代表bndbox右下角的坐标；

步骤3：构建像素坐标系和球场平面坐标系的映射模型

将A、B摄像机中捕获到的影像采用透视变换的方法转换到羽毛球场平面视图中，实现几何校正，构建像素坐标系和球场平面坐标系的映射模型的具体步骤如下：

a、假设A、B摄像机图像中某点的像素坐标为[u,v]，羽毛球场平面坐标系中的某一点坐标为[x,y]定义坐标：

b、从A、B摄像机拍摄的羽毛球场中分别寻找四个控制点，并假设这四个控制点的像素坐标分别为[u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]，在羽毛球场平面坐标系中量测它们的坐标为[x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]，获得四组同名点坐标，所述控制点的选择原则为边线的交点；

c、根据四组同名点坐标，按下述(1)式计算透视变换矩阵：

式中：u和v为变换前的图像中的像素坐标；x′/w′为透视变换后的x坐标；y′/w′为透视变换后的y坐标；h₁₁和h₂₁为X方向上线性变换的参数；h₁₂和h₂₂为Y方向上线性变换的参数；h₃₁和h₃₂分别为X方向和Y方向平移的参数；h₁₃和h₂₃为透视的参数；

将上述(1)式的矩阵展开，得到下述(2)式表达形式的矩阵：

将获取的四组同名点的像素坐标[u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]以及对应的羽毛球场平面坐标[x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]分别带入(2)式，即可获得关于h₁₁、h₂₁、h₁₂、h₂₂、h₃₁、h₃₂、h₁₃、h₂₃和h₃₃的非线性相关的八个方程，求解得到九个参数，其中h₃₃恒定为1；

步骤4：球鞋匹配与双目定位

设某一刻球鞋M基于摄像机A进行透视变化后的球场平面坐标系坐标为MA(x_mA,y_mA)，基于摄像机B进行透视变化后的球场平面坐标系坐标为MB(x_mB,y_mB)，通过最近邻点匹配算法对两幅图像中进行球鞋匹配和双目定位，所述球鞋匹配为两幅图像中的四只球鞋进行两两匹配；

步骤5：技术统计

记录所有时间下两只球鞋每5帧的空间坐标序列，对该运动员的总移动距离、平均弹跳高度、最大弹跳高度、平均移动速度和最大移动速度进行运动能力的评价。