[发明专利]一种基于深度学习的快件分拣操作规范检测方法

摘要

本发明提出了一种基于CNN和卷积LSTM网络的物流分拣规范检测方法，属于图像处理技术领域。首先从体感设备获取工人在执行分件快递动作下的连续骨架数据帧序列，从骨架数据中筛选出可以表征动作的20个关节点数据，并将其转化为世界坐标，将骨架数据分成两部分。一部分骨架数据通过选取一些关键点，组合成一些由点、线、面构成的几何特征来描述运动，然后通过一个LSTM网络对这些动作进行时间域的建模。另一个部分骨架信息通过投影，生成正视图、左视图、顶视图三个视角的关节点图和其运动轨迹图，作为卷积神经网络的输入进行特征提取。最后将两部分信息融合，进行动作判别。本发明具有很好的实时性、鲁棒性和准确性，实施简便可靠，适用于实时的动作识别系统。

主权项

1.一种基于深度学习的快件分拣操作规范检测方法，其特征在于：通过体感设备提取工人分拣快递动作的连续3D骨架数据帧序列，分别作为两种网络的输入流，进行特征提取和特征融合，以准确识别出视频中的动作；包括如下步骤：步骤1：建立快递分拣工人分拣快递动作的训练数据集，提取工人分拣快递动作的连续骨架数据，从骨架数据中筛选出可以表征动作的20个关节点数据，并对其进行复制，组成两部分内容相同的数据分别进行不同处理；步骤2：对第一部分骨架序列数据，选择满足要求的若干关节点，由这些关节点两两相连组成关节线，三个关节点相连组成平面，通过几何特征描述动作，并通过一个LSTM网络对时间信息进行编码；步骤3：对第二部分骨架序列数据进行投影处理，生成正视图、左视图、顶视图三个视角的关节点及其运动轨迹图，将骨架数据帧序列编码成三个视角的关节点及其运动轨迹颜色纹理图，分别送入三个CNN进行训练；步骤4：将两个部分的输出信息进行融合，先对前述步骤中的各个网络的输出进行预测，然后把各个网络的信息融合以确认动作；步骤5：选取待识别的行为视频送入经过步骤2～4后得到的已训练完成的神经网络模型中进行行为识别。