[发明专利]交互行为检测方法、装置、系统及设备

说明书

本说明书实施例提供一种交互行为检测方法、装置、系统及设备，所述方法包括：通过获取有深度摄像设备拍摄的待检测深度图像，从待检测深度图像中提取用于表示移动对象的前景图像，并基于前景图像获得移动对象的空间坐标信息，将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定移动对象所接触的货物。

技术领域

本说明书涉及检测技术领域，尤其涉及交互行为检测方法、装置、系统及设备。

背景技术

随着社会经济的快速发展，各种各样的货物(又可以称为物品、商品等)琳琅满目。展示货物的方式有很多种，在线上场所可以通过货物图片等方式实现展示货物；在超市、商场等线下场所，可以通过在货架上摆放货物以实现展示货物。在线下场所中，移动对象与货物接触时，不仅可以体现出移动对象对货物感兴趣，还可以提示商家该货物可能被移动对象拿走，以便商家决定是否需要进行货物补充或改进物品摆放等。移动对象可以是顾客，也可以是受顾客控制的机器人等对象。鉴于此，提供一种可靠地确定移动对象是否与货物接触的方案显得尤为重要。

发明内容

为克服相关技术中存在的问题，本说明书提供了交互行为检测方法、装置、系统及设备。

一种交互行为检测系统，所述系统包括深度摄像设备和处理设备，所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

所述深度摄像设备用于：以指定角度拍摄包括货架和指定通道区域的待检测深度图像，所述深度图像中包括像素点所对应实际对象相对于深度摄像设备所在平面的深度信息；

所述处理设备用于：从深度摄像设备中获取所述待检测深度图像；从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

在一个可选的实现方式中，所述处理设备还用于预先确定货架中货层的空间坐标信息，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

在一个可选的实现方式中，所述处理设备确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

在一个可选的实现方式中，所述处理设备从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。