[发明专利]融合图像及其文本描述的零-小样本机器学习方法及系统

说明书

本发明公开了一种融合图像及其文本描述的零‑小样本机器学习方法及系统，包含图像卷积编码器，文本映射编码器以及关系度量网络，首先通过图像卷积编码器和文本映射编码器分别将图像及其对应文本描述编码到图像特征空间，形成图像特征及其映射特征，之后将而这两种特征融合，形成各类别中心点，最后基于关系度量模块开展零‑小样本条件下的图像学习分类。本发明面向融合图像及其文本描述的零‑小样本机器学习，从图像和文本的映射特征融合入手，在仅具备少量标签样本或者类别文本描述条件下，能够对新类别数据进行快速识别分类在零‑小样本学习实验中表现出了较好性能，识别准确率高，且具备较好的学习能力和泛化能力。

技术领域

本发明涉及人工智能领域小样本条件下的弱监督机器学习技术，具体涉及一种融合图像及其文本描述的零-小样本机器学习方法及系统。

背景技术

近年来，随着深度学习技术的持续发展，基于大规模标签数据训练的监督学习取得了显著成就。然而，在经济、军事、医疗等领域，大规模标签数据获取困难，人工标注费时费力，很多情况下甚至没有大量标签数据。与此同时，对于难以获得大量标签数据的新概念，往往可以事先获取一些先验描述信息，如新类别概念的属性信息，文本描述，甚至包含语义信息的类别名称。因此，在仅具备少量标签样本或者文本特征描述条件下对新类别概念进行图像分类识别，将成为深度学习走向实际应用的有效途径。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种融合图像及其文本描述的零-小样本机器学习方法及系统，本发明面向融合图像及其文本描述的零-小样本机器学习，从图像和文本的映射特征融合入手，针对在仅具备少量标签样本或者文本描述条件下的图像识别分类典型应用，采用图像卷积编码、文本映射编码以及关系网络学习的方式，在仅具备少量标签样本或者类别文本描述条件下，能够对新类别数据进行快速识别分类在零-小样本学习实验中表现出了较好性能，识别准确率高，且具备较好的学习能力和泛化能力。

为了解决上述技术问题，本发明采用的技术方案为：

一种融合图像及其文本描述的零-小样本机器学习方法，包括：

1)对支持集D_t^support中的每个图像样本及其类别文本描述向量(I_i^t,u_i^t)：基于训练好的图像卷积编码器计算图像样本I_i^t的图像特征向量x_i^t＝Φ(I_i^t；θ*_CNN)，其中θ*_CNN为训练好的图像卷积编码器参数；基于训练好的文本映射编码器计算类别文本描述向量u_i^t的映射特征向量s_i^t＝Ψ(u_i^t；θ*_Mapping)，其中θ*_Mapping为训练好的文本映射编码器的参数；

2)对于支持集D_t^support中第k类图像特征向量x_k,1,x_k,2,…,x_k,N，取其均值作为该类别图像特征中心点x_k；基于该类别图像特征中心点x_k及该类别的映射特征向量s_k计算该类别特征表征向量v_k，其中k＝1,2,…,M，M为支持集D_t^support的类别总数，N为支持集D_t^support中每个类别的样本数量；