[发明专利]一种基于计算机视觉的快递暴力分拣识别方法

权利要求书

1.一种基于计算机视觉的快递暴力分拣识别方法，其特征在于，所述方法包括如下步骤：

步骤1：基于深度摄像机的人体三维姿态：采用深度摄像机直接估计快递操作人员的人体三维姿态，并把人体三维姿态问题转换为对深度摄像机捕获到的深度图像像素进行分类的问题，通过使用随机决策森林的方法得到人体三维姿态；

步骤2：人体三维姿态相对时空特征的提取：人体三维姿态中关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元，提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为人体三维姿态的特征表示，通过不同局部区域包含的不同类型特征的权重组合，来表达广泛的人体三维姿态模式，对于步骤1获取的每个人体三维姿态，其相对时空特征提取具体步骤如下：

1)定义三维人体关节模型，选择其中最重要的若干个关节作为三维姿态表示；

2)构建几何元素集合，选择的关节构成了几何元素集合中的点集，点集中任意2点形成直线，任意3点则构成平面；

3)提取每个三维姿态相对空间特征，包括关节对距离特征、关节与骨骼距离特征、关节与平面距离特征、骨骼对夹角特征、骨骼与平面夹角特征、平面与平面夹角特征、关节旋转特征，提取的三维姿态相对空间特征的具体计算过程如下；

a)关节对距离特征F_j,j,d，使用欧氏距离计算几何元素集合中关节对之间的距离，设姿态中关节j₁、j₂的三维坐标分别为(x₁,y₁,z₁)、(x₂,y₂,z₂)，则关节对之间的距离计算公式为：

b)关节与骨骼距离特征F_j,l,d，关节到骨骼的距离通过三角形面积公式来计算，设d₁₂、d₁₃、d₂₃分别为关节j₁、j₂、j₃之间的距离，p＝(d₁₂+d₂₃+d₁₃)/2，则关节j₁与关节j₂、j₃形成的直线之间的距离为：

F_j,l,d＝2p(p-d₁₂)(p-d₁₃)(p-d₂₃)/d₂₃；

c)关节与平面距离特征F_j,p,d，关节到平面的距离通过关节和平面上任意一点形成的向量和平面法向量之间的点积求得，设n为关节j₂、j₃、j₄形成的平面的法向量，v为关节j₁、j₃形成的向量，则关节j₁到j₂、j₃、j₄形成的平面的距离为：

F_j,p,d＝n·v/||n||；

d)骨骼对夹角特征F_l,l,a，骨骼与骨骼的夹角通过向量点积公式来计算，若关节j₁、j₂形成向量v_a，关节j₃、j₄形成向量v_b，则骨骼之间的夹角计算公式为：

F_1,1,a＝arccos(v_a·v_b/(||v_a||×||v_b||))；

e)骨骼与平面夹角特征F_l,p,a，骨骼与平面之间的夹角通过骨骼与平面法向量的点积公式进行计算，设N为关节j₃、j₄、j₅形成的平面P的法向量，V为关节j₁、j₂形成的向量，则关节j₁、j₂形成的骨骼与P的夹角为：

F_l，p，a＝arccos(N·V/(||N||×||V||))；

f)平面与平面夹角特征F_p,p,a，平面与平面之间的夹角通过平面的法向量的点积公式进行计算，设n₁为关节j₁、j₂、j₃形成的平面P₁的法向量，n₂为关节j₄、j₅、j₆形成的平面P₂的法向量，则P₁与P₂的夹角为：

F_p,p,a＝arccos(n₁·n₂/(||n₁||×||n₂||))；

g)关节旋转特征F_euler，以上姿态空间特征只有一维信息，并不能反映三维的相邻关节旋转信息，本发明选用欧拉角表示相邻关节的旋转信息；

4)提取每个三维姿态相对时间特征，包括关节角速度与加速度特征；

步骤3：基于递归神经网络的暴力分拣识别：随着时间连续变化的人体三维姿态形成运动，分拣操作行为具有时间特性，通过LSTM型递归神经网络，对从时间连续的人体三维姿态中提取的相对时空特征进行建模训练，从而实现对快递暴力分拣行为的识别。