[发明专利]基于物品关联关系的对象识别的方法和装置

说明书

本发明公开了基于物品关联关系的对象识别的方法和装置，涉及仓储物流领域技术领域。该方法的一具体实施方式包括：对采集图片进行包裹检测，获取每个包裹的包裹子区域；将所述包裹子区域中的所有物品的物品子图加工为序列，并输入到神经网络；利用所述神经网络得到所述包裹子区域中的对象的子序列；以及进行对象识别，其中，所述神经网络是基于训练样本训练而成：收集具有多个包裹且包裹中包含多个物品的图片以生成所述训练样本；对所述图片进行包裹检测；并且将所获得的包裹子图中含有的多个物品的物品子图加工为序列，并标记对应的物品及其位置，以建立对应物品位置数据库。该实施方式能够降低成本的同时提高对象识别率这样的技术效果。

技术领域

本发明涉及仓储物流领域，尤其涉及一种基于物品关联关系的对象识别方法和装置。

背景技术

在航空、地铁等公共交通地点，需要对货运物品或者托运物品进行安全检查。安检机危险品识别是用于安防的重要的计算机视觉技术。其通过安检机x光对货物进行不开箱的安全检查。有时会出现在一定的时间段内有大量物品通过安检机的情况，需要使用视频数据自主辅助安检人员对危险品进行识别，以确定危险品的类型和存在危险品的包裹，此时使用到了视觉技术来辅助判断危险品。

然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：虽然安检机图像识别技术已经较成熟，但由于现有技术中利用目标检测、图像分割等，是直接在图像中去寻找有无危险品，而实际操作中，有些危险品体积较小，特征不明显，难以识别；有些危险品则会因为形状差异较大难以识别；同时，颜色成像也会因为安检机型号的差别，导致在公开训练集上训练得到的检测模型通用性比较差。

为了提高对象的识别率，申请人进行了深入的研究，结果发现：由于多种物品在同一包裹内出现的几率是不一样的，其多种物品本身存在的关联关系。例如，购买了水果刀的用户很有可能购买了其他厨具比如盘子之类的，因此，包裹里有盘子这一信息对于判断当前的物件是否属于水果刀具的信息是非常有用的。也就是说，当确定了一个包裹内有某种物品的时候，对于确认是否包含有某一类型的对象是十分有帮助的。

发明内容

有鉴于此，本发明实施例提供一种基于物品关联关系的对象识别的方法和装置，能够充分利用物品之间的关联关系，在降低成本的同时提高对象的识别率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于物品关联关系的对象识别的方法，其特征在于，包括：对由拍摄装置采集到的采集图片进行包裹检测，获取所述采集图片中的对应于各个包裹的包裹子区域；将所述包裹子区域中所有物品的物品子图按照预先确定的顺序加工为序列，并将所述序列输入到神经网络；利用所述神经网络，得到所述包裹子区域中的对象的基于物品关联关系的子序列；以及根据所述子序列进行对象识别，其中，所述神经网络是基于训练样本训练而成：收集具有多个包裹且包裹中包含多个物品的图片以生成所述训练样本；对所述图片进行包裹检测；并且将所获得的包裹子图中含有的多个物品的物品子图加工为序列，并标记对应的物品及其位置，以建立基于物品关联关系的对应物品位置数据库。

上述发明中的一个实施例具有如下优点或有益效果：由于本发明直接使用了例如电商销售的SKU(Stock Keeping Unit，库存量单位)的物品关联关系(即，初始化时使用SKU物品的关联矩阵)来辅助对象识别这样的技术手段，因此减少了训练学习的成本，并且克服了在对象体积较小或形状差异大时难以识别以及颜色成像时检测模型通用性较差这样的技术问题，因此达到了能够在降低成本的同时提高对象识别率这样的技术效果。

本发明的基于物品关联关系的对象识别的方法中，优选地，在对所述神经网络进行训练时，根据标记出的物品及其位置的情况，对所述神经网络中的用于目标检测的网络进行训练。

本发明的基于物品关联关系的对象识别的方法中，优选地，在对所述神经网络进行训练时，利用条件概率对所述对应物品位置数据库进行更新，以对所述神经网络中的子神经网络进行调优。