[发明专利]一种基于多源信息融合的细粒度图像分类方法

权利要求书

1.一种基于多源信息融合的细粒度图像分类方法，含有以下步骤：

步骤一：选取细粒度图像里的公开数据集Caltech UCSD Bird 200-2011进行下载；

步骤二：基于上述数据集构建类-属性特征关联的知识图谱；

步骤三：训练基于计算机视觉算法的细粒度图像分类神经网络，并保存最优模型：选择ResNet50网络，使用Batch Normalization代替Dropout，并利用步骤一数据集对网络进行训练和测试，调整学习率，直至测试精度达到一个稳定的最高值；

步骤四：分析步骤三分类模型给出的预测概率结果p(c|x)，选取合适的阈值，以便将计算机识别有误的情况最大化筛选出来：预测概率在阈值内的需借助多源信息另作辅助预测，而阈值以外的则以计算机视觉算法预测结果为准；

步骤五：对于需做进一步判断的细粒度图像，依据步骤三模型给出的可能类概率信息，在步骤二构建好的知识图谱上进行相关特征信息查询，选取最具信息性的特征节点属性作为问题向人类用户进行询问：对特征节点的检索，这里采用计算相关特征节点的信息增益方式进行，最终选择信息增益值最大的特征属性作为问题的形式提出，计算公式如下：

IG(a_i)＝H(c|x)-H(c|x,a_i)

这里，a_i表示从知识图谱检索到的相关特征属性节点，x表示输入的细粒度图像，c表示细粒度图像所属类别，p(c|x,a_i)则表示在已知图像和某一局部特征a_i情况下该细粒度图像所属类别的概率，H(c|x,a_i)即为p(c|x,a_i)的熵，也就是在已知a_i这一特征属性条件下，能够让x属于某c类的信息量多少；

步骤六：人类用户介入系统所提出的问题，根据自己的视觉感知信息给予回答：一般设定系统提出的都是关于特征属性的二进制问题，人类通过观察图像给予“是”或“否”的回答。这里基于人类视觉的信息传输用U来表示，且U＝{maxIG(a_i)，p(a_i,r_i|c)}，其中r_i表示用户回答的置信度，设定“猜测，可能，确定”这三个参数作为人类决策过程的置信判断；

步骤七：计算机结合嵌入的多源信息(知识图谱、人类的视觉信息)，重新做概率预测

，

并输出最终分类结果。

2.如权利要求1所述的一种基于CUB鸟类数据集的细粒度图像分类的方法，其特征在于：所述的细粒度类别图像对应的特征包括：鸟的喙、腹、喉咙、冠、尾、背、前额、颈、眼睛、羽毛等15个关键部位所对应的颜色、形状、图案等312个属性值。