[发明专利]生成弹幕的技术

权利要求书

1.一种方法，包括：

对视频片段和候选文本集合中的每个候选文本执行如下处理：

提取所述视频片段中的多个模态的特征数据，以及提取所述候选文本的特征数据；

针对每个模态，计算该模态的特征数据与其他各个模态的特征数据以及候选文本的特征数据之间的多个双向注意力数据，并将该多个双向注意力数据进行叠加，得到该模态与其他各个模态以及候选文本之间的交叉注意力数据；

针对候选文本，计算所述候选文本的特征数据与各个模态的特征数据之间的双向注意数据，并将该多个双向注意力数据进行叠加，得到该候选文本与各个模态之间的交叉注意力数据；

根据所述视频片段的各个模态的交叉注意力数据和所述候选文本的交叉注意力数据，计算所述视频片段与所述候选文本之间的相似度；

对所述视频片段与候选文本集合中的各个候选文本的相似度进行排名，并根据该相似度排名，确定一个或多个所述候选文本作为该视频片段的弹幕。

2.根据权利要求1所述的方法，其中，针对每个模态，计算该模态的特征数据与其他各个模态的特征数据以及候选文本的特征数据之间的多个双向注意力数据，并将该多个双向注意力数据进行叠加，得到该模态与其他各个模态以及候选文本之间的交叉注意力数据，以及针对候选文本，计算所述候选文本的特征数据与各个模态的特征数据之间的双向注意数据，并将该多个双向注意力数据进行叠加，得到该候选文本与各个模态之间的交叉注意力数据包括：

对各个模态的特征数据以及候选文本的特征数据进行自我注意力计算处理，生成各个模态的自我注意力数据和候选文本的自我注意力数据；

针对每个模态，计算该模态的自我注意力数据与其他各个模态的自我注意力数据以及候选文本的自我注意力数据之间的多个双向注意力数据，并将该多个双向注意力数据进行叠加，得到该模态与其他各个模态以及候选文本之间的交叉注意力数据；

针对候选文本，计算所述候选文本的自我注意力数据与各个模态的自我注意力数据之间的双向注意数据，并将该多个双向注意力数据进行叠加，得到该候选文本与各个模态之间的交叉注意力数据。

3.根据权利要求1所述的方法，其中，根据所述视频片段的各个模态的交叉注意力数据和所述候选文本的交叉注意力数据，计算所述视频片段与所述候选文本之间的相似度包括：

将所述各个模态对应的交叉注意力数据进行融合，生成所述视频片段对应的融合注意力向量；

计算所述视频片段对应的融合注意力向量与所述候选文本对应的交叉注意力数据之间的相似度，作为所述视频片段与所述候选文本之间的相似度。

4.根据权利要求1所述的方法，其中，所述多个模态包括图像模态、声音模态，或者，图像模态、声音模态以及已有文本模态。

5.根据权利要求1所述的方法，其中，还包括：

获取与所述视频片段中的多帧图像对应的多个第一帧特征向量；

获取与所述视频片段中的多条已有弹幕对应的多个第一弹幕特征向量；

计算每个第一弹幕特征向量相对于多个第一帧特征向量的第一注意力向量，作为与各条已有弹幕对应的第二弹幕特征向量；

根据所述多条第二弹幕特征向量，生成新弹幕的各个输出词向量。

6.根据权利要求5所述的方法，其中，根据所述多条第二弹幕特征向量，生成新弹幕的各个输出词向量包括：

基于给定词向量作为新弹幕的初始输出词向量，根据上下文关系预测多个后续输出词向量，并计算初始输出词向量以及多个后续输出词向量，相对于各个第一帧特征向量和各个第二弹幕特征向量的第二注意力向量，作为新弹幕的各个输出词向量。

7.根据权利要求5所述的方法，其中，所述获取与所述视频片段中的多帧图像对应的多个第一帧特征向量包括：

获取与所述视频片段中的多帧图像对应的多个第一帧特征向量，并对该第一帧特征向量进行上下文关系处理，生成包含上下文关系的多个第一帧特征向量。