[发明专利]多模态特征的融合方法、装置、设备、介质及产品

说明书

本公开提供了一种多模态特征的融合方法、装置、设备、介质及产品，涉及图像处理技术领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案为：获取同一图像的多种模态特征；对所述多种模态特征中的每种模态特征进行编码；采用多头注意力机制，对编码得到的所有编码特征进行特征交叉融合，得到多个初始融合特征；将所述多个初始融合特征再次进行融合，得到目标融合特征。本公开采用多头注意力机制对多种模态特征的编码特征进行交叉融合，使各编码特征间能够进行充分的融合。并对交叉融合产生的多个初始融合特征进行再次融合，最终得到的目标融合特征能够准确的描述图像中的POI特征，进而提高召回率。

技术领域

本公开涉及图像处理技术领域，尤其涉及计算机视觉和深度学习技术领域。

背景技术

在兴趣点(Points Of Interest，POI)生产过程中，将同一招牌图像的多模态特征进行融合，能够提高召回率。但若采用相关技术中将多模态特征进行拼接以实现融合的方式进行融合，得到的融合特征不仅存在冗余信息，而且判别性低，反而导致召回率降低，无法在生产中应用。

发明内容

本公开提供了一种用于多模态特征的融合方法、装置、设备、介质及产品。

根据本公开的一方面，提供了一种多模态特征的融合方法，包括：获取同一图像的多种模态特征；对所述多种模态特征中的每种模态特征进行编码；采用多头注意力机制，对编码得到的所有编码特征进行特征交叉融合，得到多个初始融合特征；将所述多个初始融合特征再次进行融合，得到目标融合特征。

根据本公开的另一方面，提供了一种多模态特征的融合装置，包括：获取单元，用于获取同一图像的多种模态特征；编码单元，用于对所述多种模态特征中的每种模态特征进行编码；第一融合单元，用于采用多头注意力机制，对编码得到的所有编码特征进行特征交叉融合，得到多个初始融合特征；第二融合单元，用于将所述多个初始融合特征再次进行融合，得到目标融合特征。

根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述的方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的自动化生产主要流程的示意图；

图2是根据本公开实施例提供的多模态特征的融合方法流程图；

图3是根据本公开实施例提供的进行多模态特征融合的框图；

图4是根据一示例性实施例示出的多模态特征的融合装置框图；

图5是用来实现本公开实施例的多模态特征的融合方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。