[发明专利]多媒体信息的标题修正方法、装置、电子设备及存储介质

权利要求书

1.一种基于人工智能的多媒体信息的标题修正方法，其特征在于，所述方法包括：

对多媒体信息进行类型识别处理，得到所述多媒体信息的类型；

对所述多媒体信息的标题进行错误识别处理，得到所述标题中的错误位置；

根据所述错误位置的文本搜索与所述类型对应的候选修正数据库，得到用于修正所述错误位置的文本的多个候选修正文本；

对所述多个候选修正文本进行筛选，将筛选后得到的候选修正文本作为修正文本，其中，所述候选修正文本的语言通顺程度大于与所述多媒体信息的类型对应的语言通顺程度阈值，所述候选修正文本的语言通顺程度是所述标题修正前后的最终通顺程度的差值；

将所述标题的错误位置的文本替换为所述修正文本，以形成所述多媒体信息的正确标题；

其中，所述标题修正后的最终通顺程度通过以下处理得到：通过类型个性化语言模型对修正后的所述标题进行通顺程度预测处理，得到修正后的所述标题的第一通顺程度；通过通用语言模型对修正后的所述标题进行通顺度预测处理，得到修正后的所述标题的第二通顺程度；对所述第一通顺程度以及所述第二通顺程度进行加权求和，以得到修正后的所述标题的最终通顺程度。

2.根据权利要求1所述的方法，其特征在于，在所述对多媒体信息进行类型识别处理之前，所述方法还包括：

提取所述多媒体信息的多个模态的特征；

其中，当所述多媒体信息为视频时，所述多个模态的特征包括：视频融合特征、音频融合特征和所述多媒体信息的标题的文本特征。

3.根据权利要求2所述的方法，其特征在于，所述提取所述多媒体信息的多个模态的特征，包括：

对所述多媒体信息中每个视频帧进行编码处理，得到所述每个视频帧的向量表示，并对所述每个视频帧的向量表示进行融合处理，得到所述视频融合特征；

对所述多媒体信息中每个音频帧进行编码处理，得到所述每个音频帧的向量表示，并对所述每个音频帧的向量表示进行融合处理，得到所述音频融合特征；

对所述多媒体信息的标题中每个位置的文本进行编码处理，得到对应的向量，并将所述每个位置的向量组合为向量序列，以作为所述标题的文本特征。

4.根据权利要求2所述的方法，其特征在于，所述对多媒体信息进行类型识别处理，得到所述多媒体信息的类型，包括：

将所述视频融合特征、所述音频融合特征和所述文本特征进行融合处理，得到所述多媒体信息的多模态融合特征；

将所述多模态融合特征映射为对应多个候选多媒体信息类型的概率，并将最大概率的候选多媒体信息类型确定为所述多媒体信息的类型。

5.根据权利要求2所述的方法，其特征在于，所述对所述多媒体信息的标题进行错误识别处理，得到所述标题中的错误位置，包括：

将所述标题的文本特征映射为对应所述标题中每个位置的错误概率，并将错误概率大于错误阈值的位置确定为所述错误位置。

6.根据权利要求1所述的方法，其特征在于，

所述对多媒体信息进行类型识别处理，包括：

通过调用多任务识别模型中的视频类型分类子模型来进行所述类型识别处理；

所述对所述多媒体信息的标题进行错误识别处理，包括：

通过调用所述多任务识别模型中的错误分类子模型来进行所述错误识别处理。

7.根据权利要求6所述的方法，其特征在于，

所述对多媒体信息进行类型识别处理之前，所述方法还包括：

通过所述多任务识别模型对多媒体信息样本进行类型识别处理，得到所述多媒体信息样本的预测类型，并

对所述多媒体信息样本的标题进行错误识别处理，得到所述标题中的预测错误位置；

根据所述多媒体信息样本的预测类型、所述多媒体信息样本的多媒体信息类型标注、所述多媒体信息样本中的预测错误位置以及所述多媒体信息样本中错误位置标注，构建所述多任务识别模型的损失函数；

更新所述多任务识别模型的参数直至所述损失函数收敛，将所述损失函数收敛时所述多任务识别模型的更新的参数，作为训练后的所述多任务识别模型的参数。