[发明专利]字幕内容生成方法、装置、计算机设备及存储介质

权利要求书

1.一种字幕内容生成方法，所述方法包括：

获取待生成字幕内容的原始视频；

将所述原始视频分割成视频片段；

并行地将各视频片段推送至处于空闲状态的各字幕处理设备；所述视频片段用于指示相应字幕处理设备生成与所述视频片段相应的第一字幕内容；所述视频片段还用于指示相应字幕处理设备将所述视频片段分别转换成彩色图像视频帧序列和光流图像视频帧序列，分别从所述彩色图像视频帧序列的各彩色图像视频帧中提取第一图像特征，以及从光流图像视频帧序列的各光流图像视频帧中提取第二图像特征，根据所述第一图像特征确定物体形态特征和根据第二图像特征确定物体运动特征；分析各所述物体形态特征和所述物体运动特征，得到与所述视频片段相应的第一字幕内容；

去除各所述字幕处理设备所反馈的第一字幕内容中冗余的字幕内容，并根据去除冗余字幕内容后剩余的字幕内容，组合生成与所述原始视频对应的第二字幕内容。

2.根据权利要求1所述的方法，其特征在于，所述并行地将各视频片段推送至处于空闲状态的各字幕处理设备包括：

将各视频片段添加至任务队列；每个视频片段与所述任务队列中的视频任务一一对应；

从所述任务队列中依次选取视频任务，并将选取的视频任务并行地分配至处于空闲状态的各字幕处理设备；所述视频任务，用于指示各字幕处理设备生成与所述视频任务所对应的视频片段相应的第一字幕内容。

3.根据权利要求2所述的方法，其特征在于，所述字幕处理设备包括字幕处理服务器；

所述方法还包括：

当不存在处于空闲状态的字幕处理服务器时，则

将所述任务队列中的视频任务并行地分配至处于空闲状态的用户终端；所述视频任务，用于指示所述用户终端生成与所述视频任务所对应的视频片段相应的第一字幕内容。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

为各视频任务添加时间戳；所述时间戳用于记录相应视频任务的添加时间；

当所述时间戳记录的添加时间与当前时间的差距大于预设阈值时，则

判定不存在处于空闲状态的字幕处理服务器。

5.根据权利要求1所述的方法，其特征在于，所述视频片段还用于指示相应字幕处理设备将对应于所述视频片段中同一视频帧的第一图像特征和第二图像特征进行融合，得到融合特征，并根据融合特征确定物体综合运动特征；将所述物体形态特征、物体运动特征以及物体综合运动特征，分别输入对应的字幕生成网络模型中，输出相应的得分向量；将对应于视频片段中同一视频帧的各得分向量按照相应的投票权重进行加权求和，输出求和结果中最高得分所对应的单词，作为针对所述同一视频帧所输出的单词；根据针对每一视频帧所输出的单词组合得到与所述视频片段相应的第一字幕内容。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述去除各所述字幕处理设备所反馈的第一字幕内容中冗余的字幕内容，并根据去除冗余字幕内容后剩余的字幕内容，组合生成与所述原始视频对应的第二字幕内容包括：

获取各所述字幕处理设备反馈的第一字幕内容；

将各所述第一字幕内容按照相应视频片段在原始视频中所处位置的先后顺序进行拼接；

将拼接后的字幕内容中的各词转换为词向量，得到词向量序列；

对所述词向量序列进行去冗余编码得到语义向量；

解码所述语义向量，生成与所述原始视频对应的第二字幕内容。