[发明专利]多媒体信息审核方法、广告审核方法、设备及存储介质

权利要求书

1.一种多媒体信息审核方法，其特征在于，包括：

获取多媒体信息；

基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果；

其中，当所述多媒体信息的类型为多模态类型，所述审核结果表示审核未通过时，所述审核结果包括多模态审核结果，所述多模态类型用于指示所述多媒体信息包括至少两种多媒体类型，所述多模态审核结果用于指示所述多媒体信息中不合规的多模态元素，所述多模态元素为包括至少两种多媒体类型的元素。

2.根据权利要求1所述的方法，其特征在于，所述多模态模型包括多模态特征提取模型和目标审核模型；基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果，包括：

根据所述多媒体信息的类型，将所述多媒体信息转换为多媒体输入向量；

将所述多媒体输入向量，输入预先训练的多模态特征提取模型；

基于预先训练的多模态特征提取模型，提取所述多媒体输入向量的单模态特征向量和多模态特征向量，其中，所述单模态特征向量为所述多媒体信息中单一媒体类型的信息对应的特征向量，所述多模态特征向量所述多媒体信息中多个媒体类型的信息对应的特征向量；

将审核规则库、所述单模态特征向量以及所述多模态特征向量输入预先训练的目标审核模型，得到所述多媒体信息的审核结果。

3.根据权利要求2所述的方法，其特征在于，所述多模态特征提取模型包括编码器、单模态特征提取层和多模态融合层；

基于预先训练的多模态特征提取模型，提取所述多媒体输入向量的单模态特征向量和多模态特征向量，包括：

经由所述编码器，对所述多媒体输入向量中各多媒体类型对应的输入向量进行编码，得到各单模态编码向量；

基于单模态特征提取层，基于自注意力机制对各单模态编码向量进行特征处理，得到各单模态特征向量；

经由所述多模态融合层，采用自注意力机制以及交叉注意力机制，对各单模态特征向量进行特征融合，得到所述多模态特征向量。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若检测到所述多媒体信息对应的人工不合规标注，则基于所述人工不合规标注，提取所述多媒体信息中的目标部分；

将所述目标部分输入预先训练的多模态模型，得到所述目标部分中不合规的元素；

根据所述目标部分中不合规元素，更新所述多媒体信息的审核结果；

根据所述目标部分中不合规的元素，更新所述审核规则库。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取自然语言描述的审核规则；

将所述审核规则输入意图理解模型，得到审核特征向量；

基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果，包括：

将所述审核特征向量以及所述多媒体信息对应的向量，输入预先训练的多模态模型，得到所述多媒体信息的审核结果。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

当审核结果表示审核不通过时，修改所述多媒体信息中不合规的元素，得到修改后的多媒体信息，以发布所述修改后的多媒体信息。

7.根据权利要求6所述的方法，其特征在于，修改所述多媒体信息中不合规的元素，得到修改后的多媒体信息，包括：

基于生成对抗网络模型或扩散生成模型，生成所述多媒体信息中不合规的元素对应的修改元素，基于所述修改元素替换对应的不合规的元素，得到修改后的多媒体信息。