[发明专利]基于多模态的自动弹幕生成方法、系统、存储介质及设备

说明书

本申请公开了一种基于多模态的自动弹幕生成方法、系统、存储介质及设备，属于网络视频播放技术领域。该方法包括将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理，得到对应的多模态特征向量；利用融合模型，将多模态特征向量中的图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者进行融合，得到融合特征向量；以及利用弹幕生成模型，将融合特征向量生成视频在具体时间点的弹幕。本申请结合多模态，自动生成当前视频时间点的弹幕，增强了观众之间的交互度，以及有效丰富了视频内容性。

技术领域

本申请涉及网络视频播放技术领域，特别是一种基于多模态的自动弹幕生成方法、系统、存储介质及设备。

背景技术

随着当前互联网在线视频网站的兴起，“弹幕”已经成为一种内容创作者和观众互动的最重要的形式。所谓“弹幕”，就是在视频的某个时间点，用户将文本输入到画面上，而其他用户也能看到的文字交互形式。换句话说，弹幕就是一种观者即时互动的过程。弹幕生成，就是让模型自动根据当前的视频内容，生成某个时间点上的弹幕内容，从而提高视频的丰富度，以及观众之间的交互度。

然而，当前鲜有关于自动弹幕生成的模型或系统，即使有，也大都只是根据视频当前时间点的一帧或几帧画面去生成，这就忽略了用户观察视频本身就是用多种感知器官去感知世界的一种过程。

发明内容

本申请主要是提供一种基于多模态的自动弹幕生成方法、系统、存储介质及设备，以解决现有技术中的自动生成的弹幕内容乏味，视频内容不丰富，观众之间不能够即时互动的问题。

为了实现上述目的，本申请采用的一个技术方案是：提供一种基于多模态的自动弹幕生成方法，其包括：将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理，得到对应的多模态特征向量，其中，多模态信息包括图像信息、音频信息或者文本信息中的至少两者，多模态特征向量包括图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者；利用融合模型，将多模态特征向量中的图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者进行融合，得到融合特征向量；以及利用弹幕生成模型，将融合特征向量生成视频在具体时间点的弹幕。

本申请采用的另一个技术方案是：提供一种基于多模态的自动弹幕生成系统，其包括：用于将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理，得到对应的多模态特征向量的模块，其中，多模态信息包括图像信息、音频信息或者文本信息中的至少两者，多模态特征向量包括图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者；用于利用融合模型，将多模态特征向量中的图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者进行融合，得到融合特征向量的模块；以及用于利用弹幕生成模型，将融合特征向量生成视频在具体时间点的弹幕的模块。

本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行方案一中的基于多模态的自动弹幕生成方法。

本申请采用的另一个技术方案是：提供一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中处理器操作计算机指令以执行方案一中的基于多模态的自动弹幕生成方法。

本申请的技术方案可以达到的有益效果是：本申请设计了一种基于多模态的自动弹幕生成方法、系统、存储介质及设备。在该方法中结合多模态，即对视频中具体时间点的图像信息、音频信息和文本信息三者中的至少两者分别进行采样编码处理，然后将处理后得到的对应的信息特征进行融合而得到的整体信息特征用于生成即时弹幕，,这有效丰富了视频内容性，增强了观众的即时互动度。

附图说明

图1是本申请一种基于多模态的自动弹幕生成方法的一个具体实施方式的示意图；

图2是本申请一种基于多模态的自动弹幕生成方法的一个具体实例的示意图；

图3是本申请一种基于多模态的自动弹幕生成系统的一个具体实施方式的示意图。