[发明专利]一种基于3D姿态估计的篮球运动分析方法

权利要求书

1.一种基于3D姿态估计的篮球运动分析方法，其特征在于，包括：从一个或多个RGBD输入中估计人体姿态，识别人体动作和对人员进行跟踪，分析球员动作模式，提供训练依据和对抗分析；通过采集深度图和彩色图，预测3D人体关键点坐标，根据人体关键点和骨架图作为输入，使用时空动作识别人的动作，生成动作序列；根据人体关键点坐标生成人体的检测框，作为跟踪器的输入，生成人的轨迹序列，分析人的运动轨迹，制定并优选行动方案，生成并评估多个行动序列的过程，形成比赛指挥决策。具体包括以下步骤：

S1、基于体素网络的RGBD的多视角姿态估计：

从深度图和彩色途中估计人体关键点w＝(w1,....wJ),J个用于在真实世界中的关键点坐标；并在坐标系中，与颜色传感器框架相同。

使用相机校准转换深度图到彩色图，并且操作变形的深度图D∈R^N×M；

彩色关键点检测器：关键点检测器施加到彩色图像I，其产生的得分映射s_2D∈R^N×M×J关键点的位置可能性；得分的最大映射S2D对应于所预测的关键点位置使用Open Pose Library固定权重；

体素姿态网络：给定变形的深度图D的体素网格V∈R^K×K×K，使用K＝64计算；为此将深度图D转化成点云与计算网格中心的3D世界坐标从D中邻居中计算作为预测2D“颈部”关键点

其中，K表示固有校准矩阵相机和是齐次坐标；从深度图中选择dr验证周围邻居三个有效深度值；通过设置元素为1计算V，点云中至少存在一个点，其他位置用0代替；选择的体素网格的分辨率约为3厘米；

体素姿态网络获得V和一系列的得分图s_2D作为输入，并且使用一些列的3D卷积进行处理；将s_2D沿着Z轴平铺；体素姿态网络估计估计得分图s_3D∈R^K×K×K×J，作为其对应的2D相同；

w_VPN通过体素姿态网络预测；使用w_VPN的z分量和预测的2D关键点p_2D计算另一套世界坐标w_projected；对这些坐标在x和y方向上的精度不被K的选择所限制；基于2D网络预测的置信度(S2D在p上的得分)从w_projected和w_VPN选择了最终预测w；

S2、基于时空双流的动作识别算法：

基于RNN和CNN两种查看自适应神经网络，命名为VA-RNN和VA-CNN；在VA-RNN，由一个基于RNN视图适应子网下的合适的观察视点变换所述骨架向新的表示，以及主LSTM网络用于从识别的行动变换的骨架；VA-CNN由基于CNN视图适配子网络，以及主卷积网络；每个网络通过优化分类性能训练有素的端至端；

S3、多人跟踪：

采用递归卡尔曼滤波和帧到帧数据关联的传统单一假设跟踪方法；

跟踪处理和卡尔曼滤波框架：相机未经校准并且没有可用的自我运动信息；

采用特征金字塔网络：特征金字塔网络从多个尺度做预测；输入视频首先经过三个尺度为1/32，1/16，1/8的下采样处理；用最小尺寸的特征图上采样，并从第二个跳过连接的最小尺度的特征图融合，同样适用于其他尺度；预测头部在融合特征映射到三个尺度；一个预测头包括若干堆叠的卷积层和输出致密的大小为(6A+D)xHxW预测图；稠密预测图被分成三个部分：1)box分类结果的大小2AxHxW；2)box的回归系数4AxHxW；3)稠密嵌入图的大小为DxHxW；

S4、轨迹检测：

对球员的动作、运动轨迹和进攻与防守对抗进行分析；

S5、对广角摄像机拍摄的球场视频进行校准，形成规则的球场；

S6、球员轨迹分析：

采用体姿态估计算法估计球员的姿态，根据姿态信息结合时间序列，判断出球员的动作，经过动作识别后可以将球员做相应动作的位置自动标记出来；在球员轨迹方面，通过多人跟踪算法，结合球员的姿态信息，实现对球员的实时跟踪；根据球员的跑动轨迹，计算出球员的运动加速度。

S7、比赛指挥决策生成

比赛对抗方案推演中，基于深度强化学习算法的智能体，在与赛场环境的持续交互中不断更新其深度神经网，积累学习经验来指导其连续的行为选择，最终生成符合教练要求的最优行动序列。