[发明专利]快件分拣异常动作的识别方法、装置、设备及存储介质

权利要求书

1.一种快件分拣异常动作的识别方法，其特征在于，所述快件分拣异常动作的识别方法包括：

获取快件装卸车视频，将所述快件装卸车视频转换为图像获得快件装卸车图像，对所述快件装卸车图像进行特征提取获得快件装卸图像特征；

计算所述快件装卸图像特征与预置特征的第一相似度，判断所述第一相似度是否大于第一预设阈值；

当所述第一相似度大于第一预设阈值时，通过预置的货物区域识别模型Mask R-CNN对所述快件装卸车图像进行目标检测处理和实例分割处理，获得货物区域信息，并通过预置的人体姿态识别算法Openpose对所述快件装卸车图像进行脚部行为姿态检测，获得脚部行为姿态信息；

将所述货物区域信息和所述脚部行为姿态信息进行组合，得到目标快件装卸车图像；

检测所述目标快件装卸车图像中的脚部行为姿态是否为踩踏行为姿态，当所述脚部行为姿态为踩踏行为姿态时，将所述目标快件装卸车图像判定为快件分拣异常动作图像。

2.根据权利要求1所述的快件分拣异常动作的识别方法，其特征在于，所述通过预置的人体姿态识别算法Openpose对所述快件装卸车图像进行脚部行为姿态检测，获得脚部行为姿态信息，包括：

通过预置的人体姿态识别算法Openpose将所述快件装卸车图像的尺寸大小与第一预设尺寸大小进行对比分析，获得所述尺寸大小大于所述第一预设尺寸大小的第一图像，并按照预设长宽比放大所述第一图像，获得第二图像；

对所述第二图像增加预设内边距获得第三图像，将所述第三图像的尺寸大小转换为第二预设尺寸大小，获得第四图像；

通过所述人体姿态识别算法中的预置神经网络模型对所述第四图像进行关节预测处理，获得关节热度图；

对所述关节热度图进行人体姿态估计获得人体姿态信息，从所述人体姿态信息中提取脚部姿态信息，并创建所述人体姿态信息与所述脚部姿态信息的对应关系，得到脚部行为姿态信息。

3.根据权利要求1所述的快件分拣异常动作的识别方法，其特征在于，所述通过预置的货物区域识别模型Mask R-CNN对所述快件装卸车图像进行目标检测处理和实例分割处理，获得货物区域信息，包括：

通过预置的货物区域识别模型Mask R-CNN分别对所述目标快件装卸图像进行候选区域选择和区域预测，获得区域边框和预测边框，计算所述区域边框和所述预测边框之间的交并比值，将所述交并比值大于第二预设阈值的区域边框对应的区域作为目标区域；

对所述目标区域进行货物的卷积神经网络特征提取、分类与边界回归处理以及掩膜处理，获得候选货物区域信息；

获取所述候选货物区域信息中的货物形态，计算所述货物形态与预置货物形态的第二相似度，将所述第二相似度大于第三预设阈值的候选货物区域信息作为货物区域信息。

4.根据权利要求1所述的快件分拣异常动作的识别方法，其特征在于，所述将所述货物区域信息和所述脚部行为姿态信息进行组合，得到目标快件装卸车图像，包括：

按照预设时间序列分别对所述货物区域信息和所述脚部行为姿态信息进行采样，获得货物区域序列信息和脚部行为姿态序列信息；

将所述货物区域序列信息和所述脚部行为姿态序列信息，按照相同的时刻进行拼接处理，获得目标快件装卸车图像。

5.根据权利要求1-4任一项所述的快件分拣异常动作的识别方法，其特征在于，所述检测所述目标快件装卸车图像中的脚部行为姿态是否为踩踏行为姿态，当所述脚部行为姿态为踩踏行为姿态时，将所述目标快件装卸车图像判定为快件分拣异常动作图像，包括：

计算所述目标快件装卸车图像与预置的踩踏行为姿态图像之间的第三相似度；

判断所述第三相似度是否大于第四预设阈值，当所述第三相似度大于第四预设阈值时，判定所述目标快件装卸车图像中的脚部行为姿态为踩踏行为姿态，将所述目标快件装卸车图像判定为快件分拣异常动作图像。