[发明专利]视频信息数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种视频信息数据处理方法，所述方法包括：

获取已训练的提取模型和数据关联模型；

将当前视频输入所述提取模型中，提取出所述当前视频的多个目标视频元素；

将所述各个目标视频元素与所述数据关联模型里存储的关键特征进行匹配；

将匹配成功的关键特征作为目标关键特征；

获取所述数据关联模型里存储的与所述目标关键特征对应的关联数据，将所述关联数据作为展示信息显示。

2.根据权利要求1所述的方法，其特征在于，所述提取模型包括图像子模型、语音子模型、声纹子模型，所述提取模型的训练步骤包括：

获取训练样本集，所述训练样本集包括标注图像集、标注语音集、标注声纹集，所述标注图像集中的标注图像包含图像特征，所述标注语音集中的标注语音包含语音特征，所述标注声纹集中的标注声纹包含声纹特征；

获取训练视频；

将所述标注图像集和所述训练视频输入初始图像子模型中，所述初始图像子模型对所述训练视频进行分割，提取出所述训练视频的分割图像；

将所述标注语音集和所述训练视频输入初始语音子模型中，所述初始语音子模型对所述训练视频进行分割，提取出所述训练视频的分割音频；

将所述标注声纹集和所述训练视频输入初始声纹子模型中，所述初始声纹子模型对所述训练视频进行分割，提取出所述训练视频的分割声纹；

根据所述训练视频的分割图像和所述图像特征调整所述初始图像子模型的模型参数，根据所述训练视频的分割音频和所述语音特征调整所述初始语音子模型的模型参数，根据所述训练视频的分割声纹和所述声纹特征调整所述初始声纹子模型的模型参数，直至所述初始图像子模型、初始语音子模型、初始声纹子模型都满足收敛条件，得到已训练的所述提取模型。

3.根据权利要求2所述的方法，其特征在于，所述数据关联模型包括多个数据关联子模型，数据关联模型的建立步骤包括：

将所述标注图像集中的标注图像、所述标注语音集中的标注语音、所述标注声纹集中的标注声纹作为所述关键特征，并存储；

获取待关联样本；

将所述待关联样本的类型转换成文本，得到文本信息数据，并存储；

通过建立各个所述关键特征与所述文本信息数据的关联关系建立所述数据关联模型，所述数据关联模型用于根据所述关键特征选择所述关键特征对应的关联关系，并根据所述关键特征对应的关联关系从所述文本信息数据得到关联数据；

获取预设业务场景；

根据所述预设业务场景对所述数据关联模型通过监督学习的方式进行分类，得到多个数据关联子模型，所述数据关联子模型包含同类型的所述关键特征以及所述同类型的所述关键特征对应的所述关联数据。

4.根据权利要求3所述的方法，其特征在于，所述获取已训练的提取模型和数据关联模型的步骤之前，还包括：

接收视频提取指令，所述视频提取指令携带有实际业务场景标识；

根据所述实际业务场景标识从所述数据关联子模型中选择所述已训练的数据关联模型。

5.根据权利要求1述的方法，其特征在于，所述显示展示信息包括：

获取所述展示信息的显示方式；

根据所述显示方式将所述展示信息以弹幕的形式在所述当前视频上滚动播放；

根据所述显示方式弹出预设时间的浮框，并在浮框内显示所述展示信息。

6.一种视频信息数据处理装置，其特征在于，所述装置包括：

模型获取模块，用于获取已训练的提取模型和数据关联模型；

视频处理模块，用于将当前视频输入所述提取模型中，提取出所述当前视频的多个目标视频元素，还用于将所述各个目标视频元素与所述数据关联模型里存储的关键特征进行匹配；

信息显示模块，用于将匹配成功的关键特征作为目标关键特征，还用于获取所述数据关联模型里存储的与所述目标关键特征对应的关联数据，将所述关联数据作为展示信息显示。