[发明专利]一种新闻字幕摘要生成方法和系统

权利要求书

1.一种新闻字幕摘要生成方法，其特征在于，所述方法包括如下步骤：

获取新闻视频数据，对所述新闻视频数据进行预处理，将视频切分为固定时长的视频片段，将所述视频片段中的文字块进行摘要标注；

建立每个文字块在视频片段序列中的空间和时间连接关系的时空图，生成视频字幕的文字块边缘特征向量；

获取每个视频片段文字块的语义特征向量，并将所述语义特征向量和其他文字块的语义特征向量以及两文字块间的边缘特征向量进行拼接，将拼接后的向量输入到全连接层；

将所述全连接层输出的向量输入自注意力层加权求和后生成每个文字块的时空特征向量；

将所述时空特征向量输入到二分类模型中进行训练，根据二分类模型的输出结果对每一文字块进行摘要主题句的判断。

2.根据权利要求1所述的一种新闻字幕摘要生成方法，其特征在于，对所述新闻数据进行预处理的方法包括：对所述视频数据进行解帧，获取多张图片形式的视频帧，采用文字识别技术识别每一视频帧中的文字并获取每一文字对应的时间戳和文字位置数据，切割生成每个视频帧文字块。

3.根据权利要求1所述的一种新闻字幕摘要生成方法，其特征在于，对所述新闻数据进行预处理的方法还包括：将所述视频数据以固定时长进行切割，生成具有固定时长的视频片段，并将所述视频片段中具有相同文本信息和位置的文字块合并成单个文字块。

4.根据权利要求1所述的一种新闻字幕摘要生成方法，其特征在于，所述文字块边缘特征向量的生成方法包括：

以每个视频片段的文字块为节点获取每个文字块i的文字信息c_i、文字块高度h_i、文字块宽度w_i和文字块时间长度l_i，其中c_i＝(c_i1,c_i2,...,c_ij,...,c_im)，c_ij为文字信息中的单字符信息，m为文字块的文字长度；

构建所述文字块的时空图G＝(T,E)，其中所述T＝(t₁,t₂,...,t_i,...,t_n)，t_i＝(c_i,h_i，w_i，l_i)，其中T表示文字块特征集合，t_i为文字块集合中任意一个文字块特征，n为视频片段中的文字块数量；

将所述文字块所占的图片帧数作为所述文字块的时间长度l_i；

定义e_ij为文字块t_i和t_j之间的边缘特征向量，其中其中h_ij为文字块t_i和t_j之间的垂直距离，w_ij为文字块t_i和t_j之间的水平距离，l_ij为文字块t_i和t_j之间的时间距离。

5.根据权利要求4所述的一种新闻字幕摘要生成方法，其特征在于，所述文字块的时空特征提取方法包括：

将每个文字块中的文字c_i输入到预训练好的BERT模型中提取语义特征，并将所述BERT模型输出特征向量的平均特征向量s_i作为每个文字块节点的语义特征向量。