[发明专利]多模态信息处理方法、装置、设备及存储介质

权利要求书

1.一种多模态信息处理方法，其特征在于，包括：

获取至少一种第一模态信息；

根据所述至少一种第一模态信息，确定所述至少一种第一模态信息对应的多模态信息；

输出所述多模态信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种第一模态信息，确定所述至少一种第一模态信息对应的多模态信息之前，还包括：

获取所述至少一种第一模态信息对应的至少一种第一参考信息；

相应的，所述根据所述至少一种第一模态信息，确定所述至少一种第一模态信息对应的多模态信息，包括：

根据所述至少一种第一模态信息和所述至少一种第一参考信息，确定所述至少一种第一模态信息对应的多模态信息。

3.根据权利要求2所述的方法，其特征在于，根据所述至少一种第一模态信息和所述至少一种第一参考信息，确定所述至少一种第一模态信息对应的多模态信息，包括：

针对所述至少一种第一模态信息中每一种第一模态信息，将所述第一模态信息映射为多个第一表征向量，任一个所述第一表征向量用于表征所述第一模态信息中任一个元素的时空信息、内容或者类型；

针对所述至少一种第一参考信息中每一种第一参考信息，将所述第一参考信息映射为多个第二表征向量，任一个所述第二表征向量用于表征所述第一参考信息中任一元素的时空信息、内容或者类型；

对所述至少一种第一模态信息对应的多个第一表征向量和所述至少一种第一参考信息对应的多个第二表征向量进行融合，得到融合后的向量；

根据所述融合后的向量确定所述至少一种第一模态信息对应的多模态信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种第一模态信息，确定所述至少一种第一模态信息对应的多模态信息，包括：

针对所述至少一种第一模态信息中每一种第一模态信息，将所述第一模态信息映射为多个第一表征向量，任一个所述第一表征向量用于表征所述第一模态信息中任一个元素的时空信息、内容或者类型；

对所述至少一种第一模态信息对应的多个第一表征向量进行融合，得到融合后的向量；

根据所述融合后的向量确定所述至少一种第一模态信息对应的多模态信息。

5.根据权利要求1-4任一项所述的方法，其特征在于，一种模态是文本模态、语音模态、图像模态或者视频模态。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述第一模态信息为第一模态问题，所述多模态信息为多模态答案。

7.一种多模态信息处理方法，其特征在于，包括：

获取第一训练数据，所述第一训练数据包括：至少一种第二模态信息；

通过所述第一训练数据训练预训练语言模型；

其中，所述预训练语言模型用于根据至少一种第一模态信息，确定所述至少一种第一模态信息对应的多模态信息。

8.根据权利要求7所述的方法，其特征在于，所述第一训练数据还包括：所述至少一种第二模态信息对应的至少一种第二参考信息。

9.根据权利要求7所述的方法，其特征在于，还包括：

获取第二训练数据，所述第二训练数据包括：至少一种第三模态信息和所述至少一种第三模态信息对应的至少一种模态信息；

通过所述第二训练数据训练所述预训练语言模型。

10.根据权利要求9所述的方法，其特征在于，所述第二训练数据还包括：所述至少一种第三模态信息对应的至少一种第三参考信息。

11.根据权利要求10所述的方法，其特征在于，还包括：

根据所述至少一种第三模态信息，对所述至少一种第三参考信息进行处理，得到所述至少一种第三模态信息对应的至少一种模态信息。