[发明专利]基于多模态的自动弹幕生成方法、系统、存储介质及设备

权利要求书

1.一种基于多模态的自动弹幕生成方法，其特征在于，包括：

将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理，得到对应的多模态特征向量，其中，所述多模态信息包括图像信息、音频信息或者文本信息中的至少两者，所述多模态特征向量包括图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者；

利用融合模型，将所述多模态特征向量中的所述图像信息特征向量、所述音频信息特征向量或者所述文本信息特征向量中的至少两者进行融合，得到融合特征向量；以及

利用弹幕生成模型，将所述融合特征向量生成所述视频在所述具体时间点的弹幕。

2.如权利要求1所述的基于多模态的自动弹幕生成方法，其特征在于，所述将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理的过程包括：

将所述视频中所述多模态信息在同一时间段内以同等时间间隔进行均匀采样。

3.如权利要求2所述的基于多模态的自动弹幕生成方法，其特征在于，所述将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理的过程还包括：

利用多模态编码模型，将经采样处理的多模态信息进行编码处理得到对应的多模态特征向量，其中，所述多模态编码模型包括图像编码模型、音频编码模型和文本编码模型。

4.如权利要求1所述的基于多模态的自动弹幕生成方法，其特征在于，所述具体时间点位于所述同一时间段的中点。

5.一种基于多模态的自动弹幕生成系统，其特征在于，包括：

用于将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理，得到对应的多模态特征向量的模块，其中，所述多模态信息包括图像信息、音频信息或者文本信息中的至少两者，所述多模态特征向量包括图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者；

用于利用融合模型，将所述多模态特征向量中的所述图像信息特征向量、所述音频信息特征向量或者所述文本信息特征向量中的至少两者进行融合，得到融合特征向量的模块；以及

用于利用弹幕生成模型，将所述融合特征向量生成所述视频在所述具体时间点的弹幕的模块。

6.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-4中任一项所述的基于多模态的自动弹幕生成方法。

7.一种计算机设备，其包括处理器和存储器，所述存储器存储有计算机指令，其中所述处理器操作所述计算机指令以执行权利要求1-4中任一项所述的基于多模态的自动弹幕生成方法。