[发明专利]基于AI视觉的疫苗外包装盒防误识别方法和系统

说明书

本发明公开了基于AI视觉的疫苗外包装盒防误识别方法,包括步骤：根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示；其中,所述共识感知概念表示可利用常识知识来捕获各种语义概念之间的潜在交互；可利用常识知识来捕获各种语义概念之间的语义关联,以推理图像和文本之间的更进一步的层次关系。

技术领域

本发明涉及多模态信息融合对齐技术领域,具体涉及基于AI视觉的疫苗外包装盒防误识别方法和系统。

背景技术

由于很多种类疫苗外包装盒极为相似，因此导致拿取错误种类疫苗而进行接种的情况时有发生，而错误接种可能造成不可预知的严重后果。疫苗外包装盒图像文本匹配防误识别是指在给定数据中，针对给出的描述图像检索与它最相关的文本，或针对给出的描述文本检索与它最相关的图像。它在连接视觉和语言信息方面起着核心作用，有利于一系列下游应用，例如视觉问答、视觉接地、视觉描述和场景图生成等。

大多数现有方法单纯只依靠图像文本实例对来学习它们的表示，利用它们的匹配关系进行相应的对齐。这种方法仅利用实例成对数据中包含的表面关联，没有考虑任何外部常识知识，阻碍了推理图像和文本之间更高层次关系的能力。

发明内容

本发明的目的在于提供一种基于AI视觉的疫苗外包装盒防误识别方法,可利用常识知识来捕获各种语义概念之间的语义关联,以推理图像和文本之间的更进一步的层次关系。

为达到本发明之目的,采用如下技术方案：

第一方面,基于AI视觉的疫苗外包装盒防误识别方法,包括步骤：

根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示；

其中,所述共识感知概念表示可利用常识知识来捕获各种语义概念之间的潜在交互。

通过上述技术方案,所述共识感知概念表示是一个二维矩阵,其每一列为一个捕获了概念之间潜在关系的词向量。

共识感知概念表示利用常识知识或者说是共识知识来捕获各种语义概念之间的潜在交互，也就是语义之上的更高级更抽象的数据表示。是从语料库得到词汇数据集，从数据集构建的结合了每个词所在上下文与词汇表全局进行编码得到最终的表示。

在一种可能的实现方式中,所述根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示,具体包括：

对包含自然语言句的疫苗外包装盒图片描述语料库进行概念实例化处理,得到Y矩阵；

通过上述技术方案,Y矩阵为一个概念嵌入矩阵，其每一列代表一个融合了上下文信息和全局信息的词嵌入。

对概念实例化的编码结果具体来说是Y矩阵和由Y矩阵产生的G矩阵进行概念相关图构建,得到矩阵G。

编码结果,具体来说是Y矩阵和G矩阵，G矩阵是由Y矩阵产生的相关性矩阵，G矩阵代表了Y中重要的元素所在的位置。

使用多个堆叠的图卷积网络对概念实例化得到的矩阵Y和概念相关图构建得到的矩阵G进行共识意识概念表示处理,得到共识感知概念表示。

基于上述方案,首先对图片描述语料库进行划词得到一个词汇表。将词汇表内的低频词删除,避免无意义词汇污染数据源,以得到净化后的词汇表。

语料库进行划词的规则是,对于中文使用pkuseg(北京大学开源分词工具)或jieba(结巴开源分词工具)此类成熟的外部开源分词工具包，英文直接把句子以单词为单位分开。

从净化后的词汇表内选取出现频率为top-q的词,将选择出的词语按照对象、运动和属性分为三类词语。