[发明专利]一种虚拟装配操作中RULA评测方法

摘要

本发明属于体感交互领域，具体的说是一种对快速上肢评价进行自动检测的虚拟装配操作中RULA评测方法。该评测方法包括以下步骤：步骤一计算平面法向量；步骤二：上臂评分；步骤三：前臂评分；步骤四：腕部评分；步骤五：颈部评分；步骤六：躯干评分；步骤七：腿部评分。本发明是一种从快速上肢评价出发，旨在利用体感交互技术和计算机技术自动计算出上臂、前臂、腕部、颈部、躯干和腿部的评分，能够通过Kinect V2采集的人体骨骼点构建评价体系从而自动评分的虚拟装配操作中RULA评测方法。

主权项

1.一种虚拟装配操作中RULA评测方法，其特征在于，该评测方法包括以下步骤：步骤一、计算平面法向量；具体方法如下：11)开启Kinect V2，通过Kinect V2人机交互设备中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；12)计算横断面法向量：采集人体直立时的左脚坐标点A₁(x₁,y₁,z₁)、右脚踝坐标点A₂(x₂,y₂,z₂)、右脚坐标点A₃(x₃,y₃,z₃)，可得向量向量构建横断面，首先确认横断面法向量可得其中设B1为(y2‑y1)×(z3‑z2)‑(z2‑z1)×(y3‑y2)，B2为(z2‑z1)×(x3‑x2)‑(x2‑x1)×(z3‑z2)，B3为(x2‑x1)×(y3‑y2)‑(y2‑y1)×(x3‑x2)；横断面法向量即为n₁＝(B₁,B₂,B₃)，采集脊柱坐标点A₄(x₄,y₄,z₄)，颈坐标点A₅(x₅,y₅,z₅)，得到脊柱到颈横断面法向量n₁与向量的夹角即为如果角度θ₁的夹角小于90°，横断面法向量变为n₁＝(‑B₁,‑B₂,‑B₃)，否则不变；13)计算冠状面法向量；采集人体直立时的左肩膀坐标点A₆(x₆,y₆,z₆)、右肩膀坐标点A₇(x₇,y₇,z₇)、髋关节中心坐标点A₈(x₈,y₈,z₈)，可得到左肩膀到右肩膀向量右肩膀到髋关节中心向量构建冠状面，首先确认冠状面法向量可得其中设为C1为(y7‑y6)×(z8‑z7)‑(z7‑z6)×(y8‑y7)，C2为(z7‑z6)×(x8‑x7)‑(x7‑x6)×(z8‑z7)，C3为(x7‑x6)×(y8‑y7)‑(y7‑y6)×(x8‑x7)；冠状面法向量即为n₂＝(C₁,C₂,C₃)，采集右脚踝坐标点A₂(x₂,y₂,z₂)、右脚坐标点A₃(x₃,y₃,z₃)，可得到右脚踝到右脚向量向量n₂与向量的夹角即为如果角度θ₂的夹角小于90°，不变，否则，冠状面法向量变为n₂＝(‑C₁,‑C₂,‑C₃)；步骤二、上臂评分；上臂评分包括为左上臂评分和右上臂评分；上臂评分基础评分是通过查看上臂的弯曲程度给出评定，加分项中如果肩膀上提加1分；如果上臂外展加1分，如果胳膊的重量可以得到支撑则减1分；上臂评分需要计算肩膀与肘连接的向量与两个法向量的夹角，根据角度所在区间确定基础评分；再以肩中心为中点，计算肩膀到肩中心与肩中心到颈部的夹角，从而确定肩膀是否上提；由于上臂正常活动时，最远的活动距离是肩中心到肩膀的向量垂直活动平面，当上臂外展之后，肘到肩中心的距离将大于直角三角形的斜边，从而通过长度比较判断是否外展；支撑通过计算肘的点是否在固定的活动区域，从而判断是否存在支撑情况；上臂需要考虑先采集颈坐标点A₅(x₅,y₅,z₅)，左肩膀坐标点A₆(x₆,y₆,z₆)、右肩膀坐标点A₇(x₇,y₇,z₇)、左肘坐标点A₉(x₉,y₉,z₉)、右肘坐标点A₁₀(x₁₀,y₁₀,z₁₀)，肩中心坐标点A₁₁(x₁₁,y₁₁,z₁₁)，得到左肩膀到左肘向量右肩膀到右肘向量肩中心到左肩膀向量肩中心到右肩膀向量肩中心到颈部向量步骤三、前臂评分；前臂评分包括左前臂评分和右前臂评分；前臂的基础评分需要根据前臂的弯曲程度评定，加分项是如果前臂置于身体中线的另一侧或置于身体的外侧则加1分；前臂的基础评分需要计算肘到手腕的向量与横断面法向量的夹角，根据夹角进行基础评分的判定，加分项需要通过计算肩中心到左肩膀向量与肘到手腕的向量夹角进行判定，其中过中线的夹角需要根据肩中心到左肩膀的长度即斜边和左肘到左手腕长度通过余弦定理换算；前臂需要考虑先采集左肘坐标点A₉(x₉,y₉,z₉)、右肘坐标点A₁₀(x₁₀,y₁₀,z₁₀)、左手腕坐标点A₁₂(x₁₂,y₁₂,z₁₂)、右手腕坐标点A₁₃(x₁₃,y₁₃,z₁₃)，左肘到左手腕向量右肘到右手腕向量步骤四、腕部评分；腕部评分包括左手腕评分和右手腕评分；腕部的基础评分是根据手的弯曲程度评定，加分项仅通过弯曲是否脱离中线评定，除此之外还有腕部扭转的评定，在腕部可扭转的范围1分，接近或处于极限则为2分；腕部的基础评分需要计算肘到手腕向量与手腕到指尖向量的夹角，从而确定基础评分；加分项是腕部脱离中线，假设腕部未脱离中线，肘到手腕向量与手腕到指尖向量应为钝角三角形，可以计算出斜边长度，此时指尖点到肘的距离应与斜边相等，如果脱离中线，则小于斜边长度；其中腕部扭转通过对比肘和手腕的欧拉角判断即欧拉角通过Kinect V2采集的骨骼点四元数换算；腕部需要考虑先采集左肘坐标点A₉(x₉,y₉,z₉)、右肘坐标点A₁₀(x₁₀,y₁₀,z₁₀)、左手腕坐标点A₁₂(x₁₂,y₁₂,z₁₂)、右手腕坐标点A₁₃(x₁₃,y₁₃,z₁₃)、左指尖坐标点A₁₄(x₁₄,y₁₄,z₁₄)、右指尖坐标点A₁₅(x₁₅,y₁₅,z₁₅)，左肘到左手腕向量右肘到右手腕向量左手腕到左指尖向量右肘到右手腕向量左肘四元数q₁＝[W_q1 X_q1 Y_q1 Z_q1]^T、右肘四元数q₂＝[W_q2 X_q2 Y_q2 Z_q2]^T、左手腕四元数q₃＝[W_q3 X_q3 Y_q3 Z_q3]^T、右手腕四元数q₄＝[W_q4 X_q4 Y_q4 Z_q4]^T；四元数直接由Kinect V2可输出，其中W是旋转的角度，X,Y,Z用来确定旋转轴，可表示为Q＝W+Xi+Yj+Zk，对于i,j,k本身的几何意义可以理解为一种旋转，其中i旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转；步骤五、颈部评分；颈部评分基础评分是根据头部的弯曲程度评定，加分项包括颈部扭转和颈部侧弯；颈部通过计算头到颈部的向量与两个法向量的夹角，即可根据角度范围得到基础评分；加分项颈部的扭转只需要比较颈部与肩中心的欧拉角即可进行评判；颈部的侧弯可计算肩中心到肩膀的向量与头到颈部的向量的夹角，从而判断侧弯情况；颈部需要考虑先采集坐标点A₅(x₅,y₅,z₅)、左肩膀坐标点A₆(x₆,y₆,z₆)、肩中心坐标点A₁₁(x₁₁,y₁₁,z₁₁)、头坐标点A₁₆(x₁₆,y₁₆,z₁₆)；头到颈部向量颈四元数q₅＝[W_q5 X_q5 Y_q5 Z_q5]^T、头四元数q₆＝[W_q6 X_q6 Y_q6 Z_q6]^T；步骤六、躯干评分；躯干评分基础评分是根据身体的弯曲程度评定，如果是坐姿则为1分，加分项包括躯干扭转和躯干侧弯；躯干评分通过计算肩中心到髋关节中心的向量与法向量n1的夹角，根据夹角的范围得到基础评分，其中坐姿的评估需要比较左臀到左膝盖向量与法向量n2的夹角进行评价；加分项扭转比较肩中心与髋关节中心的欧拉角即可进行评判；躯的侧弯可计算肩中心到髋关节中心的向量与左臀到右臀的向量的夹角，从而判断侧弯情况；躯干需要考虑先采集肩中心坐标点A₁₁(x₁₁,y₁₁,z₁₁)、髋关节中心坐标点A₁₇(x₁₇,y₁₇,z₁₇)、左臀坐标点A₁₈(x₁₈,y₁₈,z₁₈)、右臀坐标点A₁₉(x₁₉,y₁₉,z₁₉)，左膝盖坐标点A₂₀(x₂₀,y₂₀,z₂₀)，肩中心到髋关节中心的向量左臀到右臀的向量左臀到左膝盖向量肩中心四元数q₇＝[W_q7 X_q7 Y_q7 Z_q7]^T、髋关节中心四元数q₈＝[W_q8 X_q8 Y_q8 Z_q8]^T；步骤七、腿部评分；腿部的评分是双腿和双脚是否有很好的支撑且处于平衡状态且平衡1分，不平衡2分，本发明选取第一动作时默认为平衡，并记录左膝盖、右膝盖、左脚踝和右脚踝的空间点作为原始点，后续动作评价过程中如果以上四点离开原始点15cm，即认为平衡打破；记录起始左膝盖坐标点Fw1(xw1,yw1,zw1)、右膝盖坐标点Fw2(xw2,yw2,zw2)、左脚踝坐标点Fw3(xw3,yw3,zw3)、右脚踝坐标点Fw4(xw4,yw4,zw4)；采集左膝盖坐标点A20(x20,y20,z20)、右膝盖坐标点A21(x21,y21,z21)、左脚踝坐标点A22(x22,y22,z22)、右脚踝坐标点A23(x23,y23,z23)。