[发明专利]基于知识图谱增强小样本视觉分类的网络模型构建方法

说明书

本发明公开了一种基于知识图谱增强小样本视觉分类的网络模型构建方法，构建方法包括了知识图谱表示、特征提取、特征融合和图片分类。在给出类别的几张样例图片的情况下，从知识图谱中提取出该类别的语义特征，并将该语义特征与该类别图片的特征相结合来得到代表该类别的特征，最后采用余弦相似度来计算待分类图片与各个类别特征之间的相似度，相似度最高的类别即为待分类图片所属类别。本发明解决了人工智能技术无法被广泛应用于各个领域的问题；解决了应用人工智能技术的过程中依赖大型标注的数据的问题；实现了语义信息和图片信息相结合来提升视觉分类模型的性能。

技术领域

本发明涉及图片特征提取技术、知识图谱表示技术和特征融合技术，属于计算机视觉技术领域，尤其涉及一种基于知识图谱增强小样本视觉分类的网络模型构建方法。

背景技术

在互联网时代，人工智能已经被广泛应用于生活，比如自动驾驶、人脸识别、语音识别、Siri等等。人工智能促进了生产力提升，增加了系统的安全性并丰富了人类世界。当今人工智能的成功依赖于大量标注的数据集；在数据量大的情况下，人工智能可以通过统计的方法来得到大部分人的行为，进一步模仿人的行为进行操作。然而，对于某些领域来说，获取大型的标记数据集是昂贵的。因为它需要密集的人工劳动，甚至有时由于数据的稀缺性，想要构成大型数据集是不可能的。因此，对大数据的需求限制了人工智能的可使用性。然而，不难发现，人类能够通过极少的标注数据来学习新事物。比如大人给小朋友看一张“狗”的图片，并告知这张图片是“狗”，之后该小朋友便能从一堆图片中快速地找出所有“狗”的图片。这个例子暗示了当前人工智能还存在很大提升空间。为了解决这一问题，一项名为“小样本学习”的研究被提出。该项研究旨在模仿人类快速学习新东西的能力，需要人工智能模型在给出一张或者几张样例图片的条件下，便能从一堆待分类图片中分类出属于该图片类别的图片。具体而言，“小样本学习”任务包含两个数据集：样例集和待分类图片集。样例集包含了每个类别的标注图片。待分类图片集包含了待分类的图片。形式上，把包含N个样例的样例集表示为S＝{(x₁，y₁)，…，(x_N，y_N)}。其中，每个x_i表示的是一张图片，y_i表示图片x_i的所属类别。假设|{y₁，y₂，…，y_N}|＝K，如果每个类别给出了I个样例，那么这种“小样本学习”任务被称为K类别I样本学习。

目前存在两种主要的方法来解决“小样本学习”问题。一种是基于度量学习技术来实现的。该方法目的是在给出少量标注数据的情况下，对属于同一个类别的图片进行聚类。另一种方法是基于梯度的学习，侧重于学习如何通过几个梯度下降更新步骤快速学习新概念。这些方法都是在视觉模态的背景下进行的，在视觉模态中，用几幅图像甚至是一幅图像来学习新概念。然而，有些类别在视觉上是相似的。此外，由于缺乏数据，拍照角度和光度很容易导致模型不能准确地表示类和区分类别间的差异性。

发明内容

本发明的目的是针对现有人工智能技术的不足，而提供的一种基于知识图谱增强小样本视觉分类的网络模型构建方法，该方法通过残差网络来提取图片特征，并通过图卷积网络对知识图谱进行编码，得到类的语义特征。然后通过非参数化方法将图像特征与语义特征结合起来，形成类的表示。最后利用余弦函数计算每个融合特征与待分类图片特征之间的相似性，进一步对图像进行分类。

实现本发明目的的具体技术方案是：

一种基于知识图谱增强小样本视觉分类的网络模型构建方法，特点是该方法包括以下具体步骤：

步骤1：收集领域中所有标注图片的所属类别；

步骤2：提取知识图谱中的语义特征，具体包括：