[发明专利]一种基于深度学习的快件分拣操作规范检测方法

权利要求书

1.一种基于深度学习的快件分拣操作规范检测方法，其特征在于：通过体感设备提取工人分拣快递动作的连续3D骨架数据帧序列，分别作为两种网络的输入流，进行特征提取和特征融合，以准确识别出视频中的动作；

包括如下步骤：

步骤1：建立快递分拣工人分拣快递动作的训练数据集，提取工人分拣快递动作的连续骨架数据，从骨架数据中筛选出可以表征动作的20个关节点数据，并对其进行复制，组成两部分内容相同的数据分别进行不同处理；

步骤2：对第一部分骨架序列数据，选择满足要求的若干关节点，由这些关节点两两相连组成关节线，三个关节点相连组成平面，通过几何特征描述动作，并通过一个LSTM网络对时间信息进行编码；

步骤3：对第二部分骨架序列数据进行投影处理，生成正视图、左视图、顶视图三个视角的关节点及其运动轨迹图，将骨架数据帧序列编码成三个视角的关节点及其运动轨迹颜色纹理图，分别送入三个CNN进行训练；

步骤4：将两个部分的输出信息进行融合，先对前述步骤中的各个网络的输出进行预测，然后把各个网络的信息融合以确认动作；

步骤5：选取待识别的行为视频送入经过步骤2～4后得到的已训练完成的神经网络模型中进行行为识别。

2.根据权利要求1所述的基于深度学习的快件分拣操作规范检测方法，其特征在于：所述步骤1中，表征动作的20个关节点为头部、颈部、脊柱、左肩、左肘、左手腕、左手、臀部、左臀部、左膝盖、左脚腕、右肩、右肘、右手腕、右手、右臀部、右膝盖、右脚腕、右脚；

对于任意两点P_i(x_i,y_i,z_i)与P_j(x_j,y_j,z_j)的距离，通过公式

计算；

通过体感设备获取需要计算的某两个关节点的坐标，再计算出相应的距离，且，根据多点之间的距离计算出角度特征。

3.根据权利要求2所述的基于深度学习的快件分拣操作规范检测方法，其特征在于：所述步骤1中，体感设备将连续动作的对应关节点骨架数据，至少包含关节点的位置信息和旋转信息，采集并记录下来形成连续的骨架数据帧序列，以供后续动作模板创建和动作识别使用。

4.根据权利要求1所述的基于深度学习的快件分拣操作规范检测方法，其特征在于：所述步骤2中，关节连线是满足下列三个条件某一个的关节线：

骨架中直接相连的两个关节点连接成的关节线；

关节点是左右手、左右手腕、左右脚、左右脚踝其中一个，则另一个关节点是离该关节点相隔一个节点的关节点，这样的两个关节点构成的连线；

头部、左右手腕、左右脚腕几个关节点两两相连组成的关节线；

选择的平面是左手-左手腕-左肘、左手腕-左肘-左肩、右手-右手腕-右肘、右手腕-右肘-右肩、头部-颈部-脊柱、左脚-左脚腕-左膝盖、左脚腕-左膝盖-左臀部、右脚-右脚腕-右膝盖、右脚腕-右膝盖-右臀部等几个关节点构成的平面。

5.根据权利要求4所述的基于深度学习的快件分拣操作规范检测方法，其特征在于：所述步骤2中，每个关节点的坐标为(J_x,J_y,J_z)，利用关节点组成的连线、构成的平面；通过关节点坐标、关节点之间的距离、关节点之间的方向、关节点到关节线的距离、关节线之间的角度、关节点到平面的距离、关节线和平面的角度、面和面之间的角度这八种几何特征，将前述的关节点、关节连线、平面编码成一个独立于时间的姿态。