[发明专利]一种基于深度学习的花样滑冰视频自动打分的方法

摘要

本发明公开了一种基于深度学习的花样滑冰视频自动打分的方法。本发明根据花样滑冰运动的技术总分(TES)与节目内容分(PCS)的定义以及针对的不同方面，基于深度学习的思想提出了自注意力机制的局部信息提取模块以及多尺度卷积神经网络的全局信息提取模块，并且联合这两个模块提出了基于视频片段级特征的花样滑冰视频自动打分的方法。该方法具有精度高、鲁棒性好等优点，不仅适用于花样滑冰运动，也适用于依据技术动作和整体表现进行打分的其他运动。

主权项

1.一种基于深度学习的花样滑冰视频自动打分的方法，其特征在于，具体步骤如下：步骤1：收集来自不同选手和不同高等级赛事的花样滑冰视频数据，然后对于每个视频，标注出裁判的专业打分；步骤2：对收集到的视频进行预处理并提取低阶特征序列；步骤3：构建基于自注意力模块和多尺度卷积模块的深度神经网络对视频的特征序列进行处理获得更高阶、更全面的视频表征；其中:基于自注意模块的深度神经网络使用2层全连接层和非线性层得到不同时间的注意力权重，并对特征序列得到更短的加权和序列，使用长短时记忆网络LSTM处理序列；基于多尺度卷积模块的深度神经网络使用卷积核大小为2和4的1维卷积提取序列中的局部信息，使用可跳跃的长短时记忆网络skip‑LSTM处理两个序列，使用卷积核大小为8的1维卷积提取序列中的全局信息，使用长短时记忆网络LSTM处理序列；步骤4：构建预测分数用的深度神经网络模型；步骤5：构建损失函数；步骤6：训练深度神经网络模型，训练完成之后，对于要打分的一个花样滑冰视频，通过抽帧、提取低阶特征序列、输入深度神经网络模型的方式得到预测的技术总分TES和节目内容分PCS。