[发明专利]多模态特征的融合方法以及装置

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多模态（Multi-modal）特征的融合方法以及装置。

背景技术

在数据分类任务例如图像分类中，数据常常由单一模态特征表示，但是单一模态特征无法充分地表示数据、且越来越多的研究已经表明同时考虑多个模态特征对于分类是有益的。另外，随着各种传感设备越来越轻便及易用，例如手机、数码相机等，数据的多模态特征也越来越容易获得。因此，多模态特征融合技术在数据分类任务中将变得越来越重要。

目前，基于最小秩的融合方法是最近提出的一种鲁棒的多模态特征融合方法。在该方法中，可以先根据每种模态特征生成关于所有测试图像的两两之间的关系矩阵（Pairwise Relationship Matrix），然后从所有生成的关系矩阵中推断出一个低秩关系矩阵，最后基于所得到的低秩关系矩阵计算出一组关于所有测试图像的分数。

但是，发明人发现在现有技术中，这些方法需要复杂的求解过程且要求每个模态下生成的关系矩阵较为有效，因此存在多模态特征融合下各个特征不同尺度的问题，并且不能很好地处理训练数据噪声或者数据缺失的情况。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

下面列出了对于理解本发明和常规技术有益的文献，通过引用将它们并入本文中，如同在本文中完全阐明了一样。

[参考文献1]：P.Gehler and S.Nowozin.On feature combination for multiclass object classification,In Proceedings of International Conference on Computer Vision,2009.

[参考文献2]：G.N.Ye,D.Liu,I.H.Jhuo,S.F.Chang.Robust late fusion with rank minimization,In Proceedings of Computer Vision and Pattern Recognition,2012.

发明内容

本发明实施例提供一种多模态特征的融合方法以及装置，目的在于避免多模态特征融合下各个特征不同尺度的问题，并且提高图像数据具体的鲁棒性。

根据本发明实施例的一个方面，提供一种多模态特征的融合方法，所述融合方法包括：

利用训练图像以及图像的多模态特征，为查询图像生成多组关于多个类的第一分类分数，并获得所述第一分类分数对应的多个两两关系矩阵；

融合所述多个两两关系矩阵以得到组合后的关系矩阵；

根据组合后的关系矩阵计算最终的关于所述多个类的分类分数，并为所述查询图像选择具有较大分类分数的一个或多个类。

根据本发明实施例的另一个方面，提供一种多模态特征的融合装置，所述融合装置包括：

矩阵获取单元，利用训练图像以及图像的多模态特征，为查询图像生成多组关于多个类的第一分类分数，并获得所述第一分类分数对应的多个两两关系矩阵；

矩阵组合单元，融合所述多个两两关系矩阵以得到组合后的关系矩阵；

类别选择单元，根据组合后的关系矩阵计算最终的关于所述多个类的分类分数，并为所述查询图像选择具有较大分类分数的一个或多个类。

本发明的有益效果在于：根据每种模态特征生成一个关系矩阵，然后线性组合所有关系矩阵以得到组合后的关系矩阵，并根据线性组合矩阵推断出一个低秩关系矩阵以获得最终的分类分数。由此，不但可以有效且快速地进行多模态特征融合，而且避免了多模态特征融合下各个特征不同尺度的问题，并且可以很好地处理训练数据噪声或者数据缺失的情况，提高了对于数据噪声的鲁棒性。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明