[发明专利]多模态细粒度混合方法、系统、设备和存储介质

权利要求书

1.一种多模态细粒度混合方法，其特征在于，所述方法包括：

从多模态图文数据中提取数据特征，并获取所述数据特征的各个组成成分；所述数据特征包括视觉区域特征和文本单词特征；

对所述数据特征的各个组成成分的模态信息进行细粒度分类，得到分类结果；

根据所述分类结果，对各个组成成分进行来自模态内和模态间的信息融合，得到融合特征；

其中，所述对所述数据特征的各个组成成分的模态信息进行细粒度分类，得到分类结果的步骤包括：

计算各所述视觉特征组成成分V_i的模态内相关性和模态间相关性，获得各所述视觉特征组成成分V_i的特性，得到分类结果；

计算各所述文本特征组成成分E_i的模态内相关性和模态间相关性，获得各所述文本特征组成成分E_i的特性，得到分类结果；

所述计算各所述视觉特征组成成分V_i的模态内相关性和模态间相关性，获得各所述视觉特征组成成分V_i的特性，得到分类结果的步骤包括：归一化处理各所述视觉特征组成成分V_i的模态内相关性和模态间相关性获得各所述视觉特征组成成分V_i的特性为：

所述计算各所述文本特征组成成分E_i的模态内相关性和模态间相关性，获得各所述文本特征组成成分E_i的特性，得到分类结果的步骤包括：归一化处理各所述文本特征组成成分E_i的模态内相关性和模态间相关性获得各所述文本特征组成成分E_i的特性为：

所述根据所述分类结果，对各个组成成分进行来自模态内和模态间的信息融合，得到融合特征的步骤包括：

将各所述视觉特征组成成分和各所述文本特征组成成分转化为对应的查询特征和键值对特征；

计算各所述视觉特征组成成分对应的视觉区域查询特征和视觉键特征对的内积，获得各所述视觉特征组成成分的自身注意力权重，进行归一化处理，得到自身模态信息；以及计算各所述视觉特征组成成分对应的视觉区域查询特征和单词键特征对的内积，获得各所述视觉特征组成成分的跨模态注意力权重，进行归一化处理，获得各所述视觉特征组成成分对应的跨模态信息；

根据各所述视觉特征组成成分的特性分别乘以各所述视觉特征组成成分对应的自身模态信息和跨模态信息，使用残差结构获得融合视觉特征组成成分，并由各融合视觉特征组成成分构成融合视觉特征。

2.根据权利要求1所述的方法，其特征在于，所述计算各所述视觉特征组成成分V_i的模态内相关性和模态间相关性，获得各所述视觉特征组成成分V_i的特性，得到分类结果的步骤包括：

计算各所述视觉特征组成成分V_i的模态内相关性

计算各所述视觉特征组成成分V_i的模态间相关性

所述计算各所述文本特征组成成分E_i的模态内相关性和模态间相关性，获得各所述文本特征组成成分E_i的特性，得到分类结果的步骤包括：

计算各所述文本特征组成成分E_i的模态内相关性

计算各所述文本特征组成成分E_i的模态间相关性

3.根据权利要求1所述的方法，其特征在于，所述根据所述分类结果，对各个组成成分进行来自模态内和模态间的信息融合，得到融合特征的步骤之后还包括：

对所述融合特征通过多次的细粒度分类和信息融合，得到具有识别力的表征数据，所述表征数据包括图片表征和文本表征。