[发明专利]一种基于多源信息融合的细粒度图像分类方法

说明书

一种基于多源信息融合的细粒度图像分类方法，含有：步骤1：选取细粒度图像里的公开数据集Caltech UCSD Bird 200‑2011进行下载；步骤2：基于上述数据集构建类‑属性特征关联的知识图谱；步骤3：训练基于计算机视觉算法的细粒度图像分类神经网络，并保存最优模型；步骤4：分析步骤三分类模型给出的预测概率结果p(c|x)，选取合适的阈值，以便将计算机识别有误的情况最大化筛选出来；步骤5：对于需做进一步判断的细粒度图像，依据步骤三模型给出的可能类概率信息，在步骤二构建好的知识图谱上进行相关特征信息查询，选取最具信息性的特征节点属性作为问题向人类用户进行询问；步骤6：人类用户介入系统所提出的问题，根据自己的视觉感知信息给予回答；步骤7：计算机融合嵌入的多源信息(知识图谱、人类的视觉信息)，重新做概率预测p(c|x,U)，并输出最终分类结果。本发明通过利用现有的大数据资源，嵌入多源信息(知识图谱和人的视觉信息)以提供更具信息性的特征描述引导计算机实现高精度的分类。

技术领域

本发明涉及一种细粒度图像分类方法，适用于嵌入多源信息来辅助机器视觉算法对细粒度易混淆的子类别识别不准的情况。

背景技术

细粒度图像分类主要任务就是能针对同一物种的不同子类进行区分，如识别鸟的种类、车的款式、狗的品种等。但就因细粒度图像样本来源于同一大类别下的若干个子类别，会存在着较高的类间相似性，相互的区别往往体现在难以察觉的局部图像底层细节之上；其次细粒度图像由于姿态、光照、遮挡、背景等不稳定因素干扰，同一类别外表看起来也会有较大的类内差异，这使得细粒度图像分类任务更具挑战性。

传统计算机视觉中对细粒度图像特征的手工标注非常依赖于专家知识，这不仅速度慢而且人力成本高。近些年，深度学习方法尤其是卷积神经网络CNN在图像分类方面取得了很大的成功，它可以自动生成有用的特征，从而节省大量手工标注工作，完成低成本的细粒度图像分类。但由于细粒度图像在视觉特征上较为相似这一敏感点，仅依靠机器自身去检索局部有效特征还面临些许困难。其次，细粒度图像中多数类物体的数量相对整体类别数量是稀疏的，每一类独有的特征部位较细微，会出现在网络传递过程中被逐层弱化的现象，从而降低机器对特征的判别能力。另外，机器缺乏对细粒度对象与部位之间、不同对象部位之间的空间关系的关注，而这两个空间关系对于寻找有辨别性的部位有显著引导的作用。随着大数据的发展，更多复杂类别的细粒度图像不断涌现，模型要能够针对这些数据集呈现出非常好的鲁棒性，就必须对机器的分类性能提出更高的要求。

可以理解的是，在此基础上的准确度的进一步提升存在很大的困难。一方面，目前基于深度学习的机器视觉算法仍存在着难解释、鲁棒性差等缺点，模型自身对图像的学习、特征的提取无法解释，很难通过人类对特征抓取的方式用于机器。另一方面，大量准确标注的细粒度图像数据集难以获取。上述分析意味着如果需要进一步提升细粒度图像分类的准确度，很可能需要跳出现有的单纯的深度学习技术框架。

发明内容

本发明要克服现有技术的上述缺点，即细粒度图像分类在现有框架下提升准确度的限制，提供一种基于多源信息融合的细粒度图像分类方法。

本发明能够在不改动算法本身的情况下，使用了一种基于多模态数据建立联合分类方法，通过嵌入多源信息(知识图谱和人的视觉信息)以提供更具信息性的特征描述引导计算机实现高精度的分类，这对此类细粒度图像分类方法提供了一种思路。

本发明解决其技术问题所采用的技术方案是：

一种基于多源信息融合的细粒度图像分类方法，含有以下步骤：

步骤一：选取细粒度图像里的公开数据集Caltech UCSD Bird 200-2011进行下载；

步骤二：基于上述数据集构建类-属性特征关联的知识图谱；

步骤三：训练基于计算机视觉算法的细粒度图像分类神经网络，并保存最优模型；