[发明专利]一种球类赛事文字解说生成方法

权利要求书

1.一种球类赛事文字解说生成方法，其特征在于，包括：

获取赛事视频中各帧图像的视觉特征；

将所述赛事视频的视觉特征和所述赛事视频的比赛专业词汇标签输入到预置语义概率模型进行处理，得到运动员动作、球运动轨迹以及赛事解说关键词的语义概念向量；

将所述视觉特征和所述语义概念向量输入到预置语言生成模型，生成所述赛事视频的文字解说；

所述获取赛事视频中各帧图像的视觉特征，包括：

通过二维卷积神经网络模型提取赛事视频中各帧图像的时间位置特征，所述二维卷积神经网络模型用于提取随时间推移的运动员动作和球的位置变换的时间位置特征；

通过三维卷积神经网络模型提取赛事视频中各帧图像的空间位置特征，所述三维卷积神经网络模型用于提取脚步步伐、手部操作以及球运动轨迹的空间位置特征；

融合所述时间位置特征和所述空间位置特征，得到视觉特征；

所述将所述赛事视频的视觉特征和所述赛事视频的比赛专业词汇标签输入到预置语义概率模型进行处理，得到运动员动作、球运动轨迹以及赛事解说关键词的语义概念向量，之后还包括：

根据各所述语义概念向量的贡献率对所有所述语义概念向量进行特征融合，得到融合后语义概念向量；

相应的，所述将所述视觉特征和所述语义概念向量输入到预置语言生成模型，生成所述赛事视频的文字解说，包括：

将所述视觉特征和所述融合后语义概念向量输入到预置语言生成模型，生所述赛事视频的文字解说。

2.根据权利要求1所述的球类赛事文字解说生成方法，其特征在于，所述预置语言生成模型为LSTM模型。

3.根据权利要求1所述的球类赛事文字解说生成方法，其特征在于，所述预置语义概率模型的损失函数L为：

式中，N为赛事视频的图像帧数，为赛事视频的第i帧图像的语义概念向量，为赛事视频的第i帧图像的比赛专业词汇标签，K为比赛专业词汇标签长度。