[发明专利]多模态机器学习目标识别的犹豫迭代计算方法及装置

权利要求书

1.一种多模态机器学习目标识别的犹豫迭代计算方法，其特征在于，包括以下步骤：

S1，获取多种模态的输入信号，将所述输入信号与输入模态相对应训练多个不同的机器学习模型；

S2，获取样本集，利用所述样本集对所述多个不同的机器学习模型进行完整的样本集测试，得到多个机器学习识别结果标签，根据所述多个机器学习识别结果标签与所述样本集的实际结果标签，得到所述多个不同的机器学习模型对应的多个误关联矩阵，将所述多个误关联矩阵组成误关联张量；

S3，将得到的所述多个机器学习识别结果标签与所述多个不同的机器学习模型进行匹配，得到模型标签准确率矩阵；

S4，将待目标识别本体的多种模态信息输入所述多个不同的机器学习模型，得到所述待目标识别本体的多个识别结果向量，将所述多个识别结果向量组成多模态结论矩阵；

S5，根据所述多模态结论矩阵和所述误关联张量得到第一犹豫结论向量；

S6，根据所述多模态结论矩阵和每个机器学习模型的权重得到第二犹豫结论向量，对所述第一犹豫结论向量和所述第二犹豫结论向量处理后进行计算得到第三犹豫结论向量；

S7，根据所述第三犹豫结论向量和所述模型标签准确率矩阵，重新计算多个机器学习模型的权重得到修正模型权重向量，根据所述第一犹豫结论向量和所述第二犹豫结论向量得到犹豫度向量；

S8，迭代步骤S6和S7，直至满足预设终止条件，将迭代后的所述第三犹豫结论向量的单位向量作为置信度向量，迭代后的所述犹豫度向量的单位向量作为犹豫向量；

S9，根据实际应用场景对不同识别目标的关注程度获得关注度系数向量，根据所述关注度系数向量、所述置信度向量和所述犹豫向量得到所述待目标识别本体的标签结论，以对所述待目标识别本体进行识别。

2.根据权利要求1所述的多模态机器学习目标识别的犹豫迭代计算方法，其特征在于，还包括：

通过任一个机器学习模型，对所述样本集中样本t对应的m模态的输入信号，进行识别得到的识别结果向量的标准差为σ_t，并对多种输入信号对应的多个识别结果向量的标准差求平均值，得到各个识别结果向量的平均标准差对每一种机器学习模型，以最小的系数λ_m，使得以的最大分量与之差作为阈值，使得识别结果向量中包含全部的正确识别结果，公式为：

其中，t为样本序号，N为识别结果的标签类别数，K为样本集规模，为分类的识别结果向量在其最大元素至误差的范围内，包含全部正确分类结论的个数，λ_m为包含全部正确标签条件下的，误差修正系数；

将模态m的置信度系数η_m定义为：

3.根据权利要求1或2所述的多模态机器学习目标识别的犹豫迭代计算方法，其特征在于，所述S2进一步包括：

对每一种机器学习模型，进行一次完整的样本集测试，针对第m种模态所对应的机器学习模型，通过统计获得，将机器学习识别标签为第i个分类标号的样本，而实际分类标签为第j个分类标号的样本，数量计为ε_m(i,j)，令e_i,j为：

e_i,j的集合为一个N×N的矩阵对于第m种模态对应的机器学习模型，其误关联矩阵为所有的机器学习模型的误关联矩阵组成所述误关联张量E^M×N×N，M为各模态对应机器学习模型的个数。

4.根据权利要求1或2所述的多模态机器学习目标识别的犹豫迭代计算方法，其特征在于，所述S3进一步包括：

对于第m种模态所对应的机器学习模型，识别标签为n的结论，得到的所述模型标签准确率矩阵为：