[发明专利]多媒体信息审核方法、广告审核方法、设备及存储介质

说明书

本申请提供一种多媒体信息审核方法、广告审核方法、设备及存储介质，该多媒体信息审核方法包括：获取多媒体信息；基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果；其中，当所述多媒体信息的类型为多模态类型，所述审核结果表示审核未通过时，所述审核结果包括多模态审核结果，所述多模态类型用于指示所述多媒体信息包括至少两种多媒体类型，所述多模态审核结果用于指示所述多媒体信息中不合规的多模态元素，所述多模态元素为包括至少两种多媒体类型的元素。基于多模态模型有效识别了多模态下违规的元素，提高了多媒体信息审核的全面性和准确度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种多媒体信息审核方法、广告审核方法、设备及存储介质。

背景技术

随着计算机技术和互联网技术的飞速发展，互联网上的各种多媒体信息，如图文信息、视频、语音等，层出不穷。

为了规范互联网上发布的多媒体信息，如各平台投放的广告、发布的短视频等，需要在发布之前，对多媒体信息进行审核。现有的审核方式大多依赖于人工方式进行审核，耗时费力，审核效率较差。

为了提高审核的效率，在相关技术中，提出了基于模型的多媒体审核方法，然而所提供的模型通常仅可以审核一种模态的多媒体信息，如图像、文字或视频，从而无法有效识别出多模态联合违规的情况，审核不够全面。

因此，亟需一种全面的多媒体信息的审核方法，以有效识别多媒体中的违规元素，尤其是多模态违规元素。

发明内容

本申请提供一种多媒体信息审核方法、广告审核方法、设备及存储介质，基于多模态模型，有效检测多媒体信息中的多媒体违规元素，提高了多媒体审核的全面性。

第一方面，本申请提供一种多媒体信息审核方法，包括：

获取多媒体信息；

基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果；

其中，当所述多媒体信息的类型为多模态类型，所述审核结果表示审核未通过时，所述审核结果包括多模态审核结果，所述多模态类型用于指示所述多媒体信息包括至少两种多媒体类型，所述多模态审核结果用于指示所述多媒体信息中不合规的多模态元素，所述多模态元素为包括至少两种多媒体类型的元素。

当多媒体信息的类型为单模态类型，所述审核结果表示审核未通过时，所述审核结果包括单模态审核结果，以指示所述多媒体信息中不合规的单模态元素。

可选的，所述多模态模型包括多模态特征提取模型和目标审核模型；基于预先训练的多模态模型，对所述多媒体信息中的元素进行审核，得到所述多媒体信息的审核结果，包括：

根据所述多媒体信息的类型，将所述多媒体信息转换为多媒体输入向量；

将所述多媒体输入向量，输入预先训练的多模态特征提取模型；

基于预先训练的多模态特征提取模型，提取所述多媒体输入向量的单模态特征向量和多模态特征向量，其中，所述单模态特征向量为所述多媒体信息中单一媒体类型的信息对应的特征向量，所述多模态特征向量所述多媒体信息中多个媒体类型的信息对应的特征向量；

将审核规则库、所述单模态特征向量以及所述多模态特征向量输入预先训练的目标审核模型，得到所述多媒体信息的审核结果。

可选的，所述多模态特征提取模型包括编码器、单模态特征提取层和多模态融合层；

基于预先训练的多模态特征提取模型，提取所述多媒体输入向量的单模态特征向量和多模态特征向量，包括：

经由所述编码器，对所述多媒体输入向量中各多媒体类型对应的输入向量进行编码，得到各单模态编码向量；