[发明专利]基于AI视觉的疫苗外包装盒防误识别方法和系统

权利要求书

1.基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,包括步骤：

根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示；

其中,所述共识感知概念表示可利用常识知识来捕获各种语义概念之间的潜在交互。

2.根据权利要求1所述基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,所述根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示,具体包括：

对包含自然语言句的疫苗外包装盒图片描述语料库进行概念实例化处理,得到矩阵Y；

对概念实例化的编码结果进行概念相关图构建,得到矩阵G；

使用多个堆叠的图卷积网络对概念实例化得到的矩阵Y和概念相关图构建得到的矩阵G进行共识意识概念表示处理,得到共识感知概念表示。

3.根据权利要求2所述基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,对概念实例化的编码结果进行概念相关图构建,得到矩阵G,具体包括：

基于概念实例化的编码结果得到矩阵P；

对矩阵P进行置信度缩放得到矩阵B；

对矩阵B进行二元运算得到矩阵G。

4.根据权利要求1所述基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,在根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示之后还包括：

根据图像和描述所述图像的文字,以得到相应的实例级图像表示和实例级文字表示。

5.根据权利要求4所述基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,在根据图像和描述图像的文字以得到相应的实例级图像表示和实例级文字表示,之后包括：

以实例级图像表示和实例级文字表示作为查询对象在常识感知概念级表示中进行查询,分别得到共识级别图像表示和共识级别文本表示。

6.根据权利要求5所述基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,在以实例级图像表示和实例级文字表示作为查询对象在常识感知概念级表示中进行查询,分别得到共识级别图像表示和共识级别文本表示，之后包括：

将实例级图像表示和共识级别图像表示进行融合得到组合的图像表示向量；

将实例级文字表示和共识级别文本表示进行融合得到组合的文本表示向量。

7.根据权利要求6所述基于AI视觉的疫苗外包装盒防误识别方法,其特征在于,在将实例级图像表示和共识级别图像表示进行融合得到组合的图像表示向量；将实例级文字表示和共识级别文本表示进行融合得到组合的文本表示向量之后还包括：

用双向三元组排序损失将图像和文本进行对齐。

8.基于AI视觉的疫苗外包装盒防误识别系统,其特征在于,

共识开发模块,用于根据包含自然语言句的疫苗外包装盒图片描述语料库,得到共识感知概念表示；

其中,所述共识感知概念表示可利用常识知识来捕获各种语义概念之间的潜在交互；

实例级别表示模块,用于根据图像和描述所述图像的文字,以得到相应的实例级图像表示和实例级文字表示；

共识感知表示学习模块,用于以实例级图像表示和实例级文字表示作为查询对象在常识感知概念级表示中进行查询,分别得到共识级别图像表示和共识级别文本表示；以及

将实例级图像表示和共识级别图像表示进行融合得到组合的图像表示向量；将实例级文字表示和共识级别文本表示进行融合得到组合的文本表示向量；

对齐目标模块,用于采用双向三元组排序损失来对齐图像和文本。