[发明专利]检查方法和检查设备以及计算机可读介质

权利要求书

1.一种检查方法，包括步骤：

用X射线扫描被检查物体，得到被检查物体的图像；

利用第一神经网络处理所述图像，得到被检查物体的语义描述；

读取所述被检查物体的舱单的文字信息；

利用第二神经网络对被检查物体的舱单的文字信息进行处理，得到被检查物体的语义特征；

采用图像-语义模型对齐所述语义描述和所述语义特征；并基于所述语义描述和所述语义特征来判断所述被检查物体是否允许通过，

其中，在所述图像-语义模型的训练过程中对样本图像中包含的多个区域特征与所述样本图像的舱单信息中包括的多个词语之间建立对应关系；将表示所述区域特征的特征矢量与表示所述词语的语义矢量之间的点积作为区域特征与词语之间的相似度，并且利用所述样本图像的多个区域特征与其舱单信息包括的多个词语之间的相似度的加权和作为所述样本图像与其舱单信息之间的相似度；

其中，所述第一神经网络和所述第二神经网络构成多模编码模型，所述多模编码模型用于通过共同的、多模的编码空间将处理图像得到的语义描述和处理文字信息得到的语义特征联系在一起；所述多模编码模型和所述图像-语义模型构成多模的递归神经网络架构，

其中，所述第一神经网络是卷积神经网络或者基于候选区域的卷积神经网络或者基于快速候选区域的卷积神经网络；所述第二神经网络是循环神经网络或者双向循环神经网络。

2.如权利要求1所述的检查方法，其中利用事先建立的图像-语义对集合来训练所述第一神经网络。

3.如权利要求1所述的检查方法，其中，在利用所述第一神经网络对图像进行处理前还包括步骤：

对所述被检查物体的图像进行二值化；

将二值化的图像计算平均值；

用二值化的图像的每个像素值减去所述平均值。

4.如权利要求1所述的检查方法，其中基于所述语义描述和所述语义特征来判断所述被检查物体是否允许通过的步骤包括：

计算表示所述语义描述的第一向量与表示所述语义特征的第二向量之间的距离；

在计算的距离小于阈值的情况下允许所述被检查物体通过。

5.一种检查设备，包括：

扫描装置，用X射线对被检查物体进行扫描，得到扫描图像；

输入装置，输入所述被检查物体的舱单信息；

处理器，配置为：

利用第一神经网络处理所述图像，得到被检查物体的语义描述；

利用第二神经网络对被检查物体的舱单的文字信息进行处理，得到被检查物体的语义特征；

采用图像-语义模型对齐所述语义描述和所述语义特征；并基于所述语义描述和所述语义特征来判断所述被检查物体是否允许通过，

其中，所述处理器被配置为在所述图像-语义模型的训练过程中在样本图像中包含的多个区域特征与所述样本图像的舱单信息中包括的多个词语之间建立对应关系；将表示所述区域特征的特征矢量与表示所述词语的语义矢量之间的点积作为区域特征与词语之间的相似度，并且利用所述样本图像的多个区域特征与其舱单信息包括的多个词语之间的相似度的加权和作为所述样本图像与其舱单信息之间的相似度；

其中，所述第一神经网络和所述第二神经网络构成多模编码模型，所述多模编码模型用于通过共同的、多模的编码空间将处理图像得到的语义描述和处理文字信息得到的语义特征联系在一起；所述多模编码模型和所述图像-语义模型构成多模的递归神经网络架构，

其中，所述第一神经网络是卷积神经网络或者基于候选区域的卷积神经网络或者基于快速候选区域的卷积神经网络；所述第二神经网络是循环神经网络或者双向循环神经网络。

6.如权利要求5所述的检查设备，其中利用事先建立的图像-语义对集合来训练所述第一神经网络。

7.如权利要求5所述的检查设备，其中，所述处理器还被配置为在利用所述第一神经网络对图像进行处理前：

对所述被检查物体的图像进行二值化；

将二值化的图像计算平均值；

用二值化的图像的每个像素值减去所述平均值。