[发明专利]一种基于深度学习的快件分拣操作规范检测方法

说明书

本发明提出了一种基于CNN和卷积LSTM网络的物流分拣规范检测方法，属于图像处理技术领域。首先从体感设备获取工人在执行分件快递动作下的连续骨架数据帧序列，从骨架数据中筛选出可以表征动作的20个关节点数据，并将其转化为世界坐标，将骨架数据分成两部分。一部分骨架数据通过选取一些关键点，组合成一些由点、线、面构成的几何特征来描述运动，然后通过一个LSTM网络对这些动作进行时间域的建模。另一个部分骨架信息通过投影，生成正视图、左视图、顶视图三个视角的关节点图和其运动轨迹图，作为卷积神经网络的输入进行特征提取。最后将两部分信息融合，进行动作判别。本发明具有很好的实时性、鲁棒性和准确性，实施简便可靠，适用于实时的动作识别系统。

技术领域

本发明涉及一种人体行为的识别方法，尤其是一种基于深度学习的快件分拣操作规范检测方法，属于视频图像处理技术领域。

背景技术

目前快递行业存在的问题有技术水平落后、快递人才缺乏、与客户关系紧张、整体环境不规范等问题。据统计，采用传统的人工分拣，不仅工作量大、差错率高，而且每人每天的最多分拣量有限；而采用自动化分拣技术，每台机器每天分拣的数量是人工的五倍多，差错率也控制在万分之五以内。但由于现实情况比较复杂，人工分拣还是占了很大一部分。快递行业门槛低，使得该行业极度缺乏拥有专业知识及专业思维的工作人员。快递行业出现了无法满足市场需求的状况，甚至出现“爆仓”、暴力分拣等现象。对快递行业来说，面对激烈的市场竞争环境，为了尽可能多的争取客户以保证自身发展，对快递分拣操作人员的规范检测是一件很有必要的事。

在过去的几十年里，RGB视频数据作为人类行为识别的输入被广泛研究。然而，与RGB数据相比，深度信息具有对光照的不变性，并提供了场景的三维结构信息。随着易于使用的深度传感器和算法的发展，基于骨架的动作识别成为研究的一个热点。近年来，深度学习方法在各种计算机视觉任务中取得了显著的成绩，许多人也提出了一些基于深度学习的方法。目前，在骨架序列中捕获时空信息的一种常见方法是使用卷积神经网络(CNN)或递归神经网络(RNN)。对CNN而言，当3D骨架信息被转化为图像时，如何有效的捕捉来自骨架序列的时空信息是一个挑战，因为，当3D信息被转化为2D信息的过程中，时间信息将会丢失。RNN模型在时域内建立了上下文依赖关系，并成功地应用于可变长度的序列数据处理，可以很好的处理时间，但不能很好的处理空间方面的特征。由于CNN模型与LSTM模型之间的互补性，将两者结合起来，可以很好的进行动作识别。

发明内容

本发明的目的在于：针对现有技术存在的缺陷，提出一种基于CNN和LSTM网络的快件分拣操作规范检测方法，既能提升检测工人操作规范的准确度，又能应用于多种复杂的场景中，以达到优秀的识别精度。

为了达到以上目的，本发明提供了一种基于深度学习的快件分拣操作规范检测方法，通过体感设备提取工人分拣快递动作的连续3D骨架数据帧序列，分别作为两种网络的输入流，进行特征提取和特征融合，以准确识别出视频中的动作；

包括如下步骤：

步骤1：建立快递分拣工人分拣快递动作的训练数据集，提取工人分拣快递动作的连续骨架数据，从骨架数据中筛选出可以表征动作的20个关节点数据，并对其进行复制，组成两部分内容相同的数据分别进行不同处理；

步骤2：对第一部分骨架序列数据，选择满足要求的若干关节点，由这些关节点两两相连组成关节线，三个关节点相连组成平面，通过几何特征描述动作，并通过一个LSTM网络对时间信息进行编码；

步骤3：对第二部分骨架序列数据进行投影处理，生成正视图、左视图、顶视图三个视角的关节点及其运动轨迹图，将骨架数据帧序列编码成三个视角的关节点及其运动轨迹颜色纹理图，分别送入三个CNN进行训练；

步骤4：将两个部分的输出信息进行融合，先对前述步骤中的各个网络的输出进行预测，然后把各个网络的信息融合以确认动作。