[发明专利]基于图像与文字的无监督联合视觉概念学习系统及方法

摘要

本发明公开一种基于图像与文字的无监督联合视觉概念学习系统及方法，包括：文字解析模块，基数示例学习模块和多任务聚类模块，其中：所述文字解析模块利用社交媒体对图像的附加句子描述提取相应的名词作为视觉概念及其基数词作为下一模块的附加约束信息；所述基数示例学习模块利用基数引导的多示例学习方法来训练每个视觉概念的分类器；所述多任务聚类模块处理概念间的多样性，即将指代相似物体的名词聚集为一个大类作为视觉概念。本发明利用无监督的自动学习可以有效解决大规模数据下人工标定的实现繁复问题。

主权项

一种基于图像与文字的无监督联合视觉概念学习方法，其特征在于包括：文字解析步骤：对于给定的句子描述利用文字解析工具提取相应的名词，对句中的每个词进行词性标注并提取出单数和复数名词作为基数示例学习模块的标签；除了名词本身，还提取名词对应基数即数量作为基数示例学习的附加约束信息；基数示例学习步骤：首先提取句子描述所对应图像中的显著区域，再利用文字解析步骤中提取到的基数信息引导多示例学习的分类器训练每个视觉概念，即对每幅图像提取基数相应数量的物体个数来提高视觉概念学习的分类准确性，得到视觉概念分类器；该步骤训练所得的每个视觉概念分类器将作为文字解析步骤的输入；多任务聚类步骤：将基数示例学习步骤训练得到的视觉概念分类器利用多任务聚类将指代相似物体的名词聚集为一个大类作为视觉概念来处理概念间的多样性，以获得更加紧致和鲁棒的视觉概念。