[发明专利]弹幕生成方法、装置、设备及计算机存储介质

说明书

本发明提供一种弹幕生成方法、装置、设备及计算机存储介质，通过预先构建的剧情理解模型和人物识别模型对待自动生成弹幕的视频内容进行剧情和人物的识别，并利用剧情弹幕生成模型结合识别后的剧情和人物生成与贴合视频剧情的自动弹幕，当实时播放或者在后续播放该视频内容时，能够定时定量的投放生成的弹幕，不仅实现活跃弹幕氛围、良性引导观众发送弹幕和提升用户观看体验的目的，同时节约了人力运营成本。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种弹幕生成方法、装置、设备及计算机存储介质。

背景技术

当前大部分视频网站在播放视频的过程中，都支持观众发送弹幕，以增加观众在观看视频时的趣味性和交互性。但观众在发送弹幕的过程中，可能存在发送与正在播放的视频无关的弹幕，或者存在具有不良倾向的弹幕，严重影响正常观众的观影体验。

在现有技术中，通常采用两种方式来良性引导和活跃弹幕氛围。一是通过人工运营的方式对观众发送的弹幕进行良性引导，但是该种方式人力成本和时间成本较高。二是采用固定模板的方式，通过机器人发布固定内容的弹幕，这种方式虽然效率较高，但弹幕质量无法保证，仍然会存在与正在播放的视频无关的弹幕，很容易被观众发现并引起质疑，依然无法起不到良性引导和活跃弹幕氛围的作用。

发明内容

有鉴于此，本发明实施例提供一种弹幕生成方法、装置、设备及计算机存储介质，以实现自动生成符合当前正在播放视频的弹幕，起到活跃弹幕氛围和良性引导观众发送弹幕的目的。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种弹幕生成方法，所述方法包括：

分析待自动生成弹幕的视频内容，得到视频帧数据和对应视频帧数据的时间轴，所述待自动生成弹幕的视频内容包括未播放的视频内容或正在播放的视频内容；

利用预先构建的剧情理解模型对所述视频帧数据进行特定剧情识别，并基于识别到的特定剧情获取对应的剧情信息，将所述剧情信息输入至预先构建的剧情弹幕生成模型；

利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别，将识别到的特定人物信息输入至预先构建的剧情弹幕生成模型；

在所述剧情弹幕生成模型中基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕；

在所述视频内容播放的过程中，在所述时间抽上投放所述第一剧情弹幕。

可选的，还包括：

利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别未识别到特定人物信息时，在预先构建的剧情弹幕生成模型中基于输入的所述时间轴和所述剧情信息进行文本构建，得到携带有所述时间轴的第二剧情弹幕；

在所述视频内容播放的过程中，所述时间轴上投放所述第二剧情弹幕。

可选的，预先构建所述剧情理解模型的过程包括：

获取样本视频数据，并对所述样本视频数据中的样本特定剧情进行标记；

构建包含标记样本特定剧情的样本视频数据的剧情视频数据集；

将所述剧情视频数据集作为mmdetection2 action模型的输入，在所述mmdetection2 action模型中对所述剧情视频数据集进行迭代训练，直至输出被标记的样本特定剧情，得到剧情理解模型。

可选的，预先构建所述人物识别模型的过程包括：

基于获取到的特定人物人脸数据构建特定人物人脸数据集，并标注所述特定人物人脸数据对应特定人物姓名；