[发明专利]利用神经网络处理多模态数据的方法、设备和介质

说明书

本公开提供了一种利用神经网络处理多模态数据的方法、设备和介质，涉及人工智能领域，具体涉及多模态数据处理、视频分类技术和深度学习技术。该神经网络包括：输入子网络，被配置为接收多模态数据以输出多个模态各自的第一特征；多个跨模态特征子网络，并被配置为接收对应的两个模态各自的第一特征，以输出对应于两个模态的跨模态特征；多个跨模态融合子网络，每一个跨模态融合子网络被配置为接收对应于相应的目标模态和其他模态的至少一个跨模态特征，以输出目标模态的第二特征；以及输出子网络，被配置为接收多个模态各自的第二特征以输出对多模态数据的处理结果。

技术领域

本公开涉及人工智能领域，具体涉及多模态数据处理、视频分类技术和深度学习技术，特别涉及一种用于多模态数据的神经网络、利用神经网络处理多模态数据的方法、神经网络训练方法、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

近年来，随着软硬件技术的快速发展，多模态数据逐渐成为信息传递的主要方式之一。在多模态数据分发、多模态数据压缩、多模态数据分类等场景下，均需要对多模态数据进行处理。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种用于多模态数据的神经网络、利用神经网络处理多模态数据的方法、神经网络训练方法、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种用于多模态数据的神经网络，包括：输入子网络，输入子网络被配置为接收多模态数据以输出多模态数据所包括的多个模态各自的第一特征；多个跨模态特征子网络，多个跨模态特征子网络中的每一个对应多个模态中的两个模态，每一个跨模态特征子网络被配置为接收两个模态各自的第一特征，以输出对应于两个模态的跨模态特征；与多个模态一一对应的多个跨模态融合子网络，多个跨模态融合子网络中的每一个跨模态融合子网络被配置为针对与该跨模态融合子网络对应的目标模态，接收对应于目标模态的至少一个跨模态特征，以输出目标模态的第二特征；以及输出子网络，输出子网络被配置为接收多个模态各自的第二特征以输出对多模态数据的处理结果。

根据本公开的另一方面，提供了一种利用神经网络处理多模态数据的方法，神经网络包括顺序连接的输入子网络、并列的多个跨模态特征子网络、并列的多个跨模态融合子网络和输出子网络，其中，多个跨模态特征子网络中的每一个对应多模态数据所包括的多个模态中的两个模态，并且多个跨模态融合子网络与多个模态一一对应。其中，方法包括：将多模态数据输入输入子网络，以获取输入子网络输出的多个模态各自的第一特征；将多个模态中的每两个模态各自的第一特征输入对应的跨模态特征子网络，以获取多个跨模态特征子网络各自输出的对应于相应的两个模态的跨模态特征；针对多个模态中的每一个模态，将对应于该模态的至少一个跨模态特征输入与该模态对应的跨模态融合子网络，以获取多个跨模态融合子网络各自输出的相应的模态的第二特征；以及将多个模态各自的第二特征输入输出子网络，以获取输出子网络输出的对多模态数据的处理结果。

根据本公开的另一方面，提供了一种神经网络训练方法，包括：获取样本多模态数据和样本多模态数据的真实标签；将样本多模态数据输入上述神经网络，以获取神经网络输出的样本多模态数据的预测标签；基于预测标签和真实标签，计算损失值；以及基于损失值，调整神经网络的参数。