[发明专利]多模态机器学习目标识别的犹豫迭代计算方法及装置

说明书

本发明公开了一种多模态机器学习目标识别的犹豫迭代计算方法及装置，其中，该方法训练多个不同的机器学习模型；计算误关联张量；计算模型标签准确率矩阵和多模态结论矩阵；计算第一犹豫结论向量、第二犹豫结论向量和第三犹豫结论向量；重新计算多个机器学习模型的权重，计算犹豫度向量；进行迭代求解第二犹豫结论向量、第三犹豫结论向量和犹豫度向量直至满足终止条件；获得关注度系数向量，根据关注度系数向量、第三犹豫结论向量和犹豫度向量得到待目标识别本体的标签结论。该方法利用犹豫迭代计算方法实现多模态识别结果融合，增强对多种参与识别过程的机器学习方法的可解释性，在识别结果准确性的基础上，得出识别结果的犹豫程度。

技术领域

本发明涉及目标识别技术领域，特别涉及一种多模态机器学习目标识别的犹豫迭代计算方法及装置。

背景技术

在学术研究中，评价识别或分类结果的准确率，以前经常以识别结果准确率来表征。但在实际应用中，用户往往集中关注特定种类目标物，对其它目标物的关注度相对较低。即，对于高关注度的目标容忍一定的认假率，但要求极低的拒真率；而对于低关注度的目标容忍一定的拒真率，但要求较低的认假率。

多模态识别结果融合，天然的具有良好的可解释性，能够由其计算过程中，提取出一系列的疑似类别标签，以及主要基于哪些模态做出了识别结果的判断。还可在既有机器学习模型的基础上，训练新模型，并加入到多模态识别中，采用同一过程实现结果融合，以实现在线学习，提高识别准确率。

多模态机器学习方法，是指以不同来源或形式的信号作为机器学习模型的输入，一般用于实现目标检测、识别、分类或索引等用途。在用于目标识别的多模态机器学习领域中，协同学习方面的研究比较充分，该方法利用不同模态的信号实现优势互补，以达到更优的性能表现。多模态目标识别方法中，根据多模态间实现融合的阶段不同，可依次分为：多模态信息融合，多模态初级特征融合，多模态高级特征融合，多模态识别结果融合，以及多层次的多模态融合。

多模态信息融合的对特定信息的形式针对性强，对于跨模态迁移学习有较大优势，利于实现以一些样本信息丰富的模态，来补足样本信息欠缺的模态。在其适应的场景下，具有较高的识别准确率。但同时存在可解释性相对较差，对于不同模态的信息需要单独设计针对性方法，算法的适用范围相对受限等问题。

多模态初级特征融合和高级特征融合，均是对机器学习过程中的特征提取过程进行融合，不同模态间采用的机器学习算法之间，需要具有良好的融合性。对于解决特定问题时，模型的调定和开发周期一般相对较长。特征融合的多样性交强，初级特征融合的特点更接近信息融合方法；高级特征融合的特点更接近识别结果融合方法。多模态识别结果融合，能够实现更多类型模态的融合，对不同模态的信息形式和所使用的不同机器学习方法无严格要求，经过合理设计，可以获得较高的可解释性，识别结果融合不仅适用于多模态目标识别，对于单模态的多模型学习同样适用。

相关技术中，识别结果融合的准确率，很大程度上取决于所采用的各个机器学习方法和模型的性能，以及这些模型的互补性。特别是由于近年来，以深度学习为代表的各种新型机器学习方法不断涌现，机器学习模型的性能不断提高，给该技术路线带来了较大的发展空间。尤其是其在可解释性方面的优势，能够弥补深度学习方法在可解释性方面的不足，而现有技术对于利用多模态融合来提高机器学习模型可解释性方面，尚有较大欠缺。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种多模态机器学习目标识别的犹豫迭代计算方法，该方法利用犹豫迭代计算方法实现多模态识别结果融合，增强对多种参与识别过程的机器学习方法的可解释性，在识别结果准确性的基础上，得出识别结果的犹豫程度。

本发明的另一个目的在于提出一种多模态机器学习目标识别的犹豫迭代计算装置。

为达到上述目的，本发明一方面实施例提出了一种多模态机器学习目标识别的犹豫迭代计算方法，包括：