[发明专利]增强现实环境下控制手势识别方法与系统

权利要求书

1.一种增强现实环境下控制手势识别方法，其特征在于，包含以下步骤：

数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；

神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；

手势识别步骤：根据手势的特征序列，获得手势识别结果；

所述神经网络处理步骤中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；

所述神经网络为多个神经元互连形成的反馈型神经网络；

所述神经网络处理步骤包含以下步骤：

接收步骤：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；

根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：

L_i(n)＝min{L_li(n)，L_ki(n)}

P_i(n)＝Select{S_k，j(n)}

式中：L_li为神经元N_i获取的邻域神经元的连接信号；L_li()为神经元N_i获取的邻域神经元的连接信号函数；N_i表示第i个神经元；n为迭代次数；L_li(n)为第n次迭代下的神经元N_i获取的邻域神经元的连接信号；e为自然底数；α_L为连接域的时间常数；L_li(n-1)为第n-1次迭代下的神经元N_i获取的邻域神经元的连接信号；V_L为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；W_li为神经元N_i的连接域的连接权系数矩阵；Y_l为邻域发出连接信号的神经元的输出；Y_l()为邻域发出连接信号的神经元的输出函数；Y_l(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；L_ki为神经元N_i获取的邻域神经元的馈接信号；L_ki()为神经元N_i获取的邻域神经元的馈接信号函数；L_ki(n)为第n次迭代下的神经元N_i获取的邻域神经元的馈接信号；α_K为馈接域的时间常数；L_ki(n-1)为第n-1次迭代下的神经元N_i获取的邻域神经元的馈接信号；V_K为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；W_ki为神经元N_i的馈送域的连接权系数矩阵；Y_k为邻域发出馈接信号的神经元的输出；Y_k()为邻域发出馈接信号的神经元的输出函数；Y_k(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；L_i为神经元N_i的筛选后的连接信号；L_i()为神经元N_i的筛选后的连接信号函数；L_i(n)为第n次迭代下的神经元N_i的筛选后的连接信号；P_i为神经元N_i的筛选信号；P_i()为神经元N_i的筛选信号函数；P_i(n)为第n次迭代下的神经元N_i的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{S_k，j(n)}表示筛选出的被激活的邻域神经元的激活信号；S_k，j为被激活的邻域神经元的激活信号；S_k，j()为被激活的邻域神经元的激活信号函数；S_k，j(n)为第n次迭代下被激活的邻域神经元的激活信号；

调节步骤：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：

式中：为神经元N_i的调整信号；为神经元N_i的调整信号函数；为第n次迭代下的神经元N_i的调整信号；dist(N_i，N_T)表示神经元N_i和N_T之间的欧式距离；N_i表示第i个神经元，N_T表示终点目标神经元；

脉冲发生步骤：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：

式中：U_i为神经元N_i的内部行为信号；U_i()为神经元N_i的内部行为信号函数；U_i(n)为第n次迭代下的神经元N_i的内部行为信号；U_i(n-1)为第n-1次迭代下的神经元N_i的内部行为信号；θ_i为神经元N_i的变阈值函数输出；θ_i()为神经元N_i的变阈值函数输出函数；θ_i(n)为第n次迭代下的神经元N_i的变阈值函数输出；α_θ为变域值函数的时间常数；θ_i(n-1)为第n-1次迭代下的神经元N_i的变阈值函数输出；V_θ为阈值放大系数；Y_i为神经元N_i的输出信号；Y_i()为神经元N_i的输出信号函数；Y_i(n)为第n次迭代下的神经元N_i的输出信号；

将Y_i(n)作为所述手势的特征序列。