[发明专利]图像识别方法和系统

说明书

本说明书提供的图像识别方法和系统，可以获取开门前的第一图像、关门前的以及关门后的第二图像。与第二图像按照时间顺序形成连续的图像帧。所述方法和系统可以通过对比多个连续帧与第一图像之间的差异区域，排除由于关门振动和人影晃动等外界环境影响引起的开门前图像和关门后图像的差异，提高图像识别的准确率，精确识别出开门前的图像与关门后的图像是否存在由于拿取物品引起的差异，从而提高识别用户是否拿取物品的准确度，防止在用户没有拿取物品的情况下由于数据传输引起的等待，提高用户体验感。

技术领域

本说明书涉及无人零售领域，尤其涉及一种图像识别方法和系统。

背景技术

在基于计算机视觉的智能货柜场景中，货柜中每层摄像头会在开门前拍摄柜内图像、关门后再次拍摄柜内图像。在进行商品结算时，货柜会将开门前的图像与关门后的图像进行对比，若二者存在差异，则判定用户拿取了商品，货柜会将开门前的图像与关门后的图像上传至云端服务器进一步做物品识别；若二者不存在差异，则判定用户没有拿取商品，货柜不会将图像上传到服务器。目前通常采用图像差分法直接对比开门前的图像与关门后的图像来获取图像差异。当用户没有拿取商品时，图像可能受到一些外界的影响(如门外人影变化，关门之后产生的震动导致商品在来回位移)，导致开门前的图像与关门后的图像存在差异，从而将图像上传至服务器。这会导致结算流程过长，影响用户体验。

因此，需要提供一种精度更高的图像识别方法和系统，能够剔除外界环境影响，精确识别出开门前的图像与关门后的图像是否存在差异，从而确定用户是否拿取商品。

发明内容

本说明书提供一种精度更高的图像识别方法和系统，能够剔除外界环境影响，精确识别出开门前的图像与关门后的图像是否存在差异，从而确定用户是否拿取商品。

第一方面，本说明书提供一种图像识别方法，用于对智能货柜进行图像识别，包括：从所述智能货柜的视觉传感器中获取第一图像以及第二图像，所述第一图像包括所述视觉传感器采集的所述智能货柜的开门信号前的一个图像帧，所述第二图像包括所述视觉传感器采集的所述关门信号后的一个图像帧；从服务器中获取目标图像，所述目标图像包括所述服务器对上一次交易的物品识别结果；以及基于所述第一图像与所述第二图像的差异以及所述目标图像，识别所述第一图像与所述第二图像之间是否存在目标差异，所述目标差异包括所述智能货柜中的物品变化引起的差异。

在一些实施例中，所述目标图像包括至少一个位置区域，所述至少一个位置区域包括所述目标图像中的至少一个物品中的每个物品对应的像素点所在的位置区域，所述至少一个位置区域与所述至少一个物品相对应。

在一些实施例中，所述基于所述第一图像与所述的差异，识别所述第一图像与所述第二图像之间是否存在目标差异，包括：将所述第一图像与所述第二图像求差，确定所述第二图像与所述第一图像的差异区域；以及基于所述差异区域与所述目标图像，确定所述第一图像与所述第二图像之间是否存在所述目标差异。

在一些实施例中，所述将所述第一图像与所述第二图像求差，确定所述第二图像与所述第一图像的差异区域，包括：基于预设图像处理方法获取所述第一图像的多个第一像素点以及所述第二图像的多个第二像素点，所述多个第一像素点与所述多个第二像素点一一对应；对所述多个第一像素点与所述多个第二像素点逐一求差，确定目标像素点的位置以及差异值，所述目标像素点包括所述多个第一像素点与所述多个第二像素点中存在差异的像素点；以及将相邻的所述目标像素点作为一个差异点集合，将所述差异点集合中的所述目标像素点的差异值进行特征融合作为所述差异点集合的差异值，确定所述差异区域，所述差异区域包括所述差异点集合及其对应的差异值。