[发明专利]融合图像及其文本描述的零-小样本机器学习方法及系统

摘要

本发明公开了一种融合图像及其文本描述的零‑小样本机器学习方法及系统，包含图像卷积编码器，文本映射编码器以及关系度量网络，首先通过图像卷积编码器和文本映射编码器分别将图像及其对应文本描述编码到图像特征空间，形成图像特征及其映射特征，之后将而这两种特征融合，形成各类别中心点，最后基于关系度量模块开展零‑小样本条件下的图像学习分类。本发明面向融合图像及其文本描述的零‑小样本机器学习，从图像和文本的映射特征融合入手，在仅具备少量标签样本或者类别文本描述条件下，能够对新类别数据进行快速识别分类在零‑小样本学习实验中表现出了较好性能，识别准确率高，且具备较好的学习能力和泛化能力。