[发明专利]一种动作识别方法、装置、设备及介质

权利要求书

1.一种动作识别方法，其特征在于，所述方法应用于后台系统，所述方法包括：

接收AR设备上传的操作员在作业过程中的操作视频；

识别所述操作视频中的至少一个手势特征，并根据所述手势特征，确定作业流程中包含的至少一个操作步骤，其中，所述操作步骤包含至少一个手势特征；

确定各操作步骤的工时，并根据所述各操作步骤的工时，确定所述操作步骤是否与标准操作步骤匹配；

所述确定各操作步骤的工时，并根据所述各操作步骤的工时，确定所述操作步骤是否与标准操作步骤匹配，包括：

根据所述各操作步骤对应的开始手势特征的出现时间和结束手势特征的出现时间，确定所述各操作步骤的工时，其中，所述开始手势特征是操作步骤对应的第一个手势特征，所述结束手势特征是操作步骤对应的最后一个手势特征；

获取与所述各操作步骤对应的各标准工时；

根据所述各操作步骤的工时与所述各标准工时，计算所述各操作步骤的工时误差；

当所述工时误差大于设定阈值时，确定所述操作步骤与所述标准操作步骤不匹配；

在确定所述操作步骤与所述标准操作步骤不匹配之后，还包括：

根据所述操作步骤中包含的至少一个手势特征，将所述操作步骤划分为至少一个作业动作，其中，每个作业动作对应一个手势特征；

获取所述操作员保持所述手势特征的时间，作为与所述手势特征对应的作业动作的工时；

根据所述各作业动作的工时与各作业对应的标准工时，计算所述各作业动作的工时误差；

当所述工时误差大于设定阈值时，确定所述作业动作与标准作业动作不匹配。

2.根据权利要求1所述的方法，其特征在于，识别所述操作视频中的至少一个手势特征，并根据所述手势特征，确定作业流程包含的至少一个操作步骤，包括：

识别所述操作视频中操作员的左右手分别对应的单手几何特征，其中，所述单手几何特征包括手势轮廓以及手部运动中心；

根据所述单手几何特征确定双手位置关系，并由所述单手几何特征和所述双手位置关系共同构成操作员的手势特征；

当所述手势特征满足设定的手势特征识别条件时，确定所述手势特征属于所述手势特征识别条件对应的操作步骤，并根据所述手势特征将所述作业流程划分为至少一个操作步骤；

其中，所述手势特征识别条件是预先设定的与各操作步骤对应的至少一个标准手势特征。

3.根据权利要求1所述的方法，其特征在于，在确定所述作业动作与标准作业动作不匹配之后，还包括：

当所述作业动作的工时大于所述各作业对应的标准工时时，并向所述AR设备发送操作误差信息，以指示所述AR设备向所述操作员发起操作不规范语音提示；

当所述作业动作的工时小于所述各作业对应的标准工时时，对所述作业动作进行显示，并发起操作优化提示，以提醒监控人员对所述作业动作进行是否具有可优化性的分析。

4.根据权利要求1所述的方法，其特征在于，在识别所述操作视频中的至少一个手势特征，并根据所述手势特征，确定作业流程中包含的至少一个操作步骤之后，还包括：

根据所述至少一个操作步骤，进行虚拟作业流程的仿真，并将仿真结果进行显示，以辅助监控人员对所述操作步骤进行分析。