[发明专利]一种基于多源信息融合的细粒度图像分类方法

摘要

一种基于多源信息融合的细粒度图像分类方法，含有：步骤1：选取细粒度图像里的公开数据集Caltech UCSD Bird 200‑2011进行下载；步骤2：基于上述数据集构建类‑属性特征关联的知识图谱；步骤3：训练基于计算机视觉算法的细粒度图像分类神经网络，并保存最优模型；步骤4：分析步骤三分类模型给出的预测概率结果p(c|x)，选取合适的阈值，以便将计算机识别有误的情况最大化筛选出来；步骤5：对于需做进一步判断的细粒度图像，依据步骤三模型给出的可能类概率信息，在步骤二构建好的知识图谱上进行相关特征信息查询，选取最具信息性的特征节点属性作为问题向人类用户进行询问；步骤6：人类用户介入系统所提出的问题，根据自己的视觉感知信息给予回答；步骤7：计算机融合嵌入的多源信息(知识图谱、人类的视觉信息)，重新做概率预测p(c|x,U)，并输出最终分类结果。本发明通过利用现有的大数据资源，嵌入多源信息(知识图谱和人的视觉信息)以提供更具信息性的特征描述引导计算机实现高精度的分类。