[发明专利]多模态特征的融合方法以及装置

权利要求书

1.一种多模态特征的融合方法，所述融合方法包括：

利用训练图像以及图像的多模态特征，为查询图像生成多组关于多个类的第一分类分数，并获得所述第一分类分数对应的多个两两关系矩阵；

融合所述多个两两关系矩阵以得到组合后的关系矩阵；

根据组合后的关系矩阵计算最终的关于所述多个类的分类分数，并为所述查询图像选择具有较大分类分数的一个或多个类。

2.根据权利要求1所述的融合方法，其中，所述融合方法还包括：

将所有的多模态特征直接拼接成一组合特征；

利用训练图像以及所述组合特征，为所述查询图像生成一组关于所述多个类的第二分类分数，并获得所述第二分类分数对应的一个两两关系矩阵；

并且，将所述第一分类分数对应的多个两两关系矩阵以及所述第二分类分数对应的一个两两关系矩阵进行融合以得到组合后的关系矩阵。

3.根据权利要求2所述的融合方法，其中，融合所述多个两两关系矩阵以得到组合后的关系矩阵具体包括：

对所述第一分类分数对应的多个两两关系矩阵进行线性组合；并且将所述第二分类分数对应的两两关系矩阵作为约束项以引导所述线性组合。

4.根据权利要求3所述的融合方法，其中，所述线性组合获得的关系矩阵为：T^c=∑_i=1,...,Mw_iTⁱ，其中Tⁱ为所述第一分类分数对应的两两关系矩阵，i=1,...,M，M为所述多模态特征的个数；w_i为线性权重，所述线性权重满足如下条件：

条件1：所有线性权重均大于或者等于零；

条件2：线性权重的L2-范数最小；

条件3：线性组合中的T^c和T^a尽可能接近，所述T^a为所述第二分类分数对应的两两关系矩阵。

5.根据权利要求1至4任一项所述的融合方法，其中，在融合所述多个两两关系矩阵以得到组合后的关系矩阵之后，所述融合方法还包括：

对所述组合后的关系矩阵进行过滤或变换以获得最终的关系矩阵；

并且，根据所述最终的关系矩阵计算最终的关于所述多个类的分类分数。

6.根据权利要求5所述的融合方法，其中，对所述组合后的关系矩阵进行过滤或变换以获得最终的关系矩阵具体包括：

找出并保留所述组合后的关系矩阵T^c中最可信的元素；以及

根据最可信的元素获得最终的关系矩阵T^f；

其中，对于T^c中任意第（j，k）个元素，如果满足以下其中任一个条件，则该元素被认为是可信的：

条件1：T^c（j，k）>0，并且在M个关系矩阵Tⁱ中有N_t个关系矩阵的第（j，k）个元素大于0；

条件2：T^c（j，k）<0，并且在M个关系矩阵Tⁱ中有N_t个矩阵的第（j，k）个元素小于0；

其中，N^t大于一预设值；Tⁱ为所述第一分类分数对应的两两关系矩阵，i=1,...,M。

7.根据权利要求6所述的融合方法，其中，根据最可信的元素获得最终的关系矩阵T^f，具体满足如下条件：

条件1：所述关系矩阵T^f的秩尽可能小；

条件2：所述关系矩阵T^f的大小与所述关系矩阵T^c相同、且所述关系矩阵T^f是反对称的；

条件3：所找到的最可信元素在T^c中的索引位置所对应的T^f中的元素，与所述最可信元素尽可能接近。