[发明专利]一种基于物品取放事件的人员信息获取方法、装置及设备

权利要求书

1.一种基于物品取放事件的人员信息获取方法，其特征在于，包括：

检测到物品取放事件后，在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域；

在所述图像中，确定与所述手部区域属于同一人体的人脸区域；

基于所述人脸区域，获取触发所述物品取放事件的人员信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于货架上设置的重力传感器采集的重力数值，检测是否发生物品取放事件；

如果是，确定货架中发生所述物品取放事件的位置，作为目标位置，并获取包含所述物品取放事件的图像；

在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域；

所述在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域，包括：

识别位于所述目标图像区域中的手部区域，作为与所述物品取放事件相关联的手部区域。

3.根据权利要求2所述的方法，其特征在于，所述货架包括多个货格，每个货格分别对应一个重力传感器；所述确定货架中发生所述物品取放事件的位置，作为目标位置，包括：

确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格；

所述在所述图像中确定所述目标位置对应的图像区域，作为目标图像区域，包括：

在所述图像中确定所述目标货格对应的预设区域，作为目标图像区域。

4.根据权利要求3所述的方法，其特征在于，所述获取包含所述物品取放事件的图像之后，还包括：

识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，所述连接关系表示手部关键点与头部关键点属于同一人体；

所述识别位于所述目标图像区域中的手部区域，包括：

识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；

所述在所述图像中，确定与所述手部区域属于同一人体的人脸区域，包括：

基于所述连接关系，确定与所述目标手部关键点属于同一人体的头部关键点，作为目标头部关键点；

在所述图像中，识别所述目标头部关键点所在的人脸区域。

5.根据权利要求4所述的方法，其特征在于，所述图像包括：二维图像和深度图像；所述识别所述图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系，包括：

识别所述二维图像中的手部关键点、头部关键点、以及手部关键点与头部关键点之间的连接关系；

基于所述二维图像与所述深度图像之间的映射关系，得到所述手部关键点的三维坐标；

所述识别位于所述目标图像区域中的手部关键点，作为目标手部关键点，包括：

将所述目标图像区域的三维坐标与所述手部关键点的三维坐标进行匹配，基于匹配结果识别位于所述目标图像区域中的手部关键点，作为目标手部关键点；所述目标图像区域的三维坐标为预先标定得到的。

6.根据权利要求3所述的方法，其特征在于，所述确定所采集重力数值发生变化的重力传感器所在的货格，作为目标货格之后，还包括：

判断发生变化的重力数值变大还是变小；如果变大，则确定所述物品取放事件的类型为放回事件；如果变小，则确定所述物品取放事件的类型为取走事件；

确定所述目标货格上放置物品的类别，作为取放物品的类别；

基于重力传感器的重力变化值、以及所述目标货格上放置的物品的单位重量，计算取放物品的数量；

所述基于所述人脸区域，获取触发所述物品取放事件的人员信息之后，还包括：

基于所述人员信息、所述物品取放事件的类型、所述取放物品的类别、所述取放物品的数量，记录人员的行为信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预设场景中的图像；

检测所述图像中是否发生物品取放事件，如果是，将所述图像确定为待处理图像；

所述在包含所述物品取放事件的图像中，识别与所述物品取放事件相关联的手部区域，包括：

在所述待处理图像中，识别与所述物品取放事件相关联的手部区域。