[发明专利]多模态信息处理方法、装置、设备及存储介质

说明书

本申请实施例提供一种多模态信息处理方法、装置、设备及存储介质。该方法包括：获取至少一种第一模态信息；根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息；输出多模态信息。从而可以满足用户需求，也可以提高该多模态信息处理方法的适用性。

技术领域

本申请实施例涉及计算机技术领域，并且更具体地，涉及一种多模态信息处理方法、装置、设备及存储介质。

背景技术

目前许多信息查询技术都综合运用了自然语言处理、信息检索、人工智能等技术。例如：智能问答技术是综合运用了自然语言处理、信息检索、人工智能等技术的一种新型的信息服务技术。与传统的搜索引擎不同，自动问答系统以自然语音句子提问，系统分析并理解用户的问题，返回用户想要的答案。

发明内容

本申请实施例提供了一种多模态信息处理方法、装置、设备及存储介质。

第一方面，本申请实施例提供一种多模态信息处理方法，包括：获取至少一种第一模态信息；根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息；输出多模态信息。

第二方面，本申请实施例提供一种多模态信息处理方法，包括：获取第一训练数据，第一训练数据包括：至少一种第二模态信息；通过第一训练数据训练预训练语言模型；其中，预训练语言模型用于根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息。

第三方面，本申请实施例提供一种多模态信息处理装置，包括：第一获取模块、确定模块、输出模块，其中，第一获取模块用于获取至少一种第一模态信息；确定模块用于根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息；输出模块用于输出多模态信息。

第四方面，本申请实施例提供一种多模态信息处理装置，包括：第一获取模块和第一训练模块，其中第一获取模块用于获取第一训练数据，第一训练数据包括：至少一种第二模态信息；第一训练模块用于通过第一训练数据训练预训练语言模型；其中，预训练语言模型用于根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息。

第五方面，提供了一种电子设备，包括：

处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行本申请任意实施例的方法。

第六方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行本申请任意实施例的方法。

在本申请实施例中，可以根据至少一种第一模态信息，确定至少一种第一模态信息对应的多模态信息，即在本申请实施例中，实现了单模态或者多模态信息输入，和，多模态信息输出，相对于单模态信息输入输出的方式，这种单模态或者多模态信息输入，和，多模态信息输出可以满足用户对信息多样性呈现的需求，也可以提高该多模态信息处理方法的适用性。

进一步地，本申请实施例通过预训练语言模型实现端到端的输入和输出，即该预训练语言模型是基于神经网络的模型，只需要将至少一种模态信息输入至该模型，即可输出多模态信息。这种端到端的输入和输出方式可以提高信息处理效率。

更进一步地，本申请实施例基于神经网络的模型进行信息处理，而不是基于传统的机器学习模型或者是人工规则进行信息处理，相对于基于传统的机器学习模型或者是人工规则的信息处理方式，本申请基于神经网络模型的信息处理方式可以提高信息处理效率。

附图说明

图1A是本申请一实施例提供的智能问答场景示意图；

图1B是本申请一实施例提供的智能问答场景示意图；

图2为本申请一实施例提供的多模态信息处理过程的示意图；

图3为本申请一实施例提供的图像模态的问题示意图；