[发明专利]弹幕生成方法、装置、设备及计算机存储介质

权利要求书

1.一种弹幕生成方法，其特征在于，所述方法包括：

分析待自动生成弹幕的视频内容，得到视频帧数据和对应视频帧数据的时间轴，所述待自动生成弹幕的视频内容包括未播放的视频内容或正在播放的视频内容；

利用预先构建的剧情理解模型对所述视频帧数据进行特定剧情识别，并基于识别到的特定剧情获取对应的剧情信息，将所述剧情信息输入至预先构建的剧情弹幕生成模型；

利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别，将识别到的特定人物信息输入至预先构建的剧情弹幕生成模型；

在所述剧情弹幕生成模型中基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕；

在所述视频内容播放的过程中，在所述时间抽上投放所述第一剧情弹幕。

2.根据权利要求1所述的方法，其特征在于，还包括：

利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别未识别到特定人物信息时，在预先构建的剧情弹幕生成模型中基于输入的所述时间轴和所述剧情信息进行文本构建，得到携带有所述时间轴的第二剧情弹幕；

在所述视频内容播放的过程中，所述时间轴上投放所述第二剧情弹幕。

3.根据权利要求1所述的方法，其特征在于，预先构建所述剧情理解模型的过程包括：

获取样本视频数据，并对所述样本视频数据中的样本特定剧情进行标记；

构建包含标记样本特定剧情的样本视频数据的剧情视频数据集；

将所述剧情视频数据集作为mmdetection2 action模型的输入，在所述mmdetection2action模型中对所述剧情视频数据集进行迭代训练，直至输出被标记的样本特定剧情，得到剧情理解模型。

4.根据权利要求1所述的方法，其特征在于，预先构建所述人物识别模型的过程包括：

基于获取到的特定人物人脸数据构建特定人物人脸数据集，并标注所述特定人物人脸数据对应特定人物姓名；

将所述特定人物人脸数据集输入resnet模型进行训练，得到人脸识别模型；

利用人脸检测算法对所述特定人物人脸数据集进行人脸检测，得到人脸关键特征点；

在所述人脸识别模型中对所述人脸关键特征点进行迭代训练，直至识别出人脸关键特征点对应的特定人物姓名，得到人物识别模型。

5.根据权利要求1所述的方法，其特征在于，预先构建所述剧情弹幕生成模型的过程包括：

基于获取到的样本剧情弹幕数据构建剧情弹幕数据集；

构建Transformer模型，所述Transformer模型由编码模块和解码模块构成；

在所述Transformer模型的编码模块的输入层嵌入剧情类别分层，所述剧情类别分层用于划分不同剧情类别的剧情弹幕数据；

将所述剧情弹幕数据通过所述剧情类别分层进行分类后输入所述Transformer模型，在所述Transformer模型按照输入的剧情弹幕数据的剧情类别进行分层训练，得到剧情弹幕生成模型。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述在所述剧情弹幕生成模型中基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕，包括：

在剧情弹幕生成模型中生成对应所述剧情信息的初始弹幕信息，所述初始弹幕信息中存在初始人物信息；

将所述初始弹幕信息中的初始人物信息替换为所述特定人物信息，结合所述时间轴，生成携带有所述时间轴和特定人物信息的第一剧情弹幕。