[发明专利]一种基于比赛视频的动作自动识别方法

说明书

本申请属于网络数据传输技术领域，尤其涉及一种基于比赛视频的动作识别方法。包括如下步骤：赛事视频的预处理和筛选；关键词标注及统计；动作以及语义特征提取；动作和语义特征的关联训练学习。本申请的基于比赛视频的动作识别方法能够减少赛事转播成本，降低对人员及设备需求，为赛事转播直播等内容提供基于机器语言自动识别和语义匹配等内容的基本模型结构，为实现用于赛事转播或直播的基于比赛视频的动作识别提供技术基础。

技术领域

本申请属于网络数据传输技术领域，尤其涉及一种基于比赛视频的动作自动识别方法。

背景技术

随着网络视数据传输能力的提升，以及各类体育运动在各个年龄段人群中的不断发展，人们对于各类运动赛事的现场以及视频观赛的需求不断提升，由于体育赛事种类众多，赛制循环进行，每次赛事进行过程中，往往不止有一场比赛在进行，除了主赛场往往会进行完备的视频录制播报之外，对于分赛场或者次级赛场的软硬件资源分配并不相同，往往不会配备完整的转播支持和解说团队，但对于一些分赛厂货次级赛场的赛事也有相应的粉丝团队进行关注，因此对该部分粉丝来说忘完更无法给予其良好的转播以及解说的支持，另一方面给予机器AI的语义自动识别技术也在不断发展，为实现现场播报以及解说的自动化提供了技术基础，目前基于该项技术进行各类简单的任务说明、生产线上的线性提示等已经有所应用，但赛事自动播报方面上没有完整的技术方案。

发明内容

本申请的目的在于，基于现状，提供一种能够减少赛事转播成本，降低对人员及设备需求，能够用于赛事转播或直播的基于比赛视频的动作自动识别方法。

为实现上述目的，本申请采用如下技术方案。

本申请的一种基于比赛视频的动作自动识别方法，包括如下步骤：

(1)赛事视频的预处理和筛选：收集足够且充分的原始视频数据，剔除原始视频中评价、回放、慢放、赛事过程中的裁定评分及其他非赛事动作直接相关的视频片段；

依据位置职能的基础动作作为划分依据，对原始视频进行切割分块，并选取不同职能位置对应的基本动作片段、不同位置职能间的互动动作视频片段以及特殊职能单位的特殊动作视频片段分别形成基本动作片段集、互动动作片段集以及特殊动作片段集；

(2)关键词标注及统计：基于前述动作片段集，采用人工统计或者语音识别方式，对各动作片段进行关键词标注；

(3)动作以及语义特征提取：利用卷积神经网络扫描动作片段集以进行动作特征提取；

利用独热编码(onehot)对关键词转化为描述特征，统计关键词词频构建语义词典；

(4)动作和语义特征的关联训练学习：使用长短期记忆人工神经网络(LSTM)完成动作片段与语义特征的学习训练，包括如下步骤：

将前述步骤中的动作特征分解为具有矢量特征并进行编码的动作特征序列，利用神经网络解码该动作特征获取相应动的数据

对于动作特征矢量X＝{x₁、x₂、...x_n}，其在长短期记忆人工神经网络对应的隐藏层输出H＝{h₁、h₂、...h_n}，将动作特征矢量按照顺序输入LSTM，在每个动作片段的所有帧图像均经过LSTM训练后，得到该动作特征矢量的编码映射；解码训练过程中，LSTM将隐藏状态解码为语义序列Y＝{y₁、y₂、...y_m}，其概率为

在已知帧序列的隐藏状态以及语义的情况下，持续训练过程直至得到预测中最大的对数似然性