[发明专利]连续动作的识别方法、装置、介质及设备

权利要求书

1.一种连续动作的识别方法，其特征在于，所述方法包括：

将多帧具有时序关系的图像分别输入操作对象识别模型和操作人员识别模型，在每帧图像中分别获得操作对象检测框和操作人员检测框；

根据所述操作对象检测框和所述操作人员检测框筛选出位于操作对象的工作区域内的操作人员图像；

将筛选出来的操作人员图像输入肢体识别模型，在每帧图像中获得所述操作人员的肢体关键点坐标；

对所有帧图像中所述操作人员的肢体关键点坐标进行标准化处理；

计算标准化处理后的操作人员的肢体关键点坐标与各标准动作集合的相似度得分，当所述相似度得分大于分数阈值时，判断所述操作人员执行了与标准动作集合中相应的动作；

其中，所述对所有帧图像中所述操作人员的肢体关键点坐标进行标准化处理包括：

对每帧图像中所述操作人员的肢体关键点的坐标进行平滑处理并进行均值计算，获得所述操作人员的骨骼中心；

计算每帧图像中所述骨骼中心到事先训练好的操作对象表面直线的投影长度，在所有帧图像中获得投影长度集合；

根据所有帧图像中操作人员的肢体关键点坐标集合和投影长度集合对所述操作人员的肢体关键点坐标进行长度标准化和数目标准化处理，其中，为肢体关键点的坐标，i表示肢体关键点的类型，j表示该帧图像的时间序号；

其中，所述长度标准化的公式如下：

其中，，为标准距离，，即为所述投影长度集合中的最大值；

所述数目标准化的公式如下：

其中，int[x]为x的取整，，r表示肢体关键点的序号，为第i个肢体关键点在肢体关键点坐标集合中的个数，为第i个肢体关键点在所述标准动作集中的个数，表示标准化处理后的肢体关键点集合；

其中，所述计算标准化处理后的操作人员的肢体关键点坐标与各标准动作集的相似度得分，当所述相似度得分大于分数阈值时，判断所述操作人员执行了与标准动作集中相应的动作包括：

对于所有帧图像，采用长度为t的时间窗，按照时间方向以预设步长滑动，计算每个时间窗内所述标准化处理后的肢体关键点集合与各标准动作集的相似度得分，得到每个时间窗内相似度得分结果，其中，n表示待测视频的帧率，g表示时间窗的中心时间，其中，相似度计算公式如下：

其中，m表示一个标准动作集中的帧数，表示标准动作集，表示标准动作信息集的平均值，表示时间窗内动作集，表示时间窗内动作信息集的平均值，，

其中，、、分别表示操作人员的手腕、手肘、肩膀关键点坐标，方程表示过所述操作人员的骨骼中心且垂直于操作对象表面的直线方程，其中，k和b表示过所述操作人员的骨骼中心且垂直于操作对象表面的直线方程的参数，方程表示操作对象表面的直线方程，和表示操作对象表面的直线方程的参数；

将所有时间窗内的相似度得分结果组成向量并乘以相应的权重后获得总相似度得分，当所述总相似度得分大于得分阈值时，判断所述操作人员执行了与标准动作集合中相应的动作，并记录总相似度得分大于得分阈值的时间段。

2.根据权利要求1所述的连续动作的识别方法，其特征在于，所述操作对象为消毒柜，所述标准动作及中的动作包括打开消毒柜门、关闭消毒柜门、向消毒柜内搬运餐具和向消毒柜外搬运餐具。

3.根据权利要求1所述的连续动作的识别方法，其特征在于，所述根据所述操作对象检测框和所述操作人员检测框筛选出位于操作对象的工作区域内的操作人员图像包括：

计算所述操作对象检测框的中心点和所述操作人员检测框的中心点之间的欧氏距离；

当所述欧氏距离小于距离阈值时，筛选出位于操作对象的工作区域内的操作人员图像。

4.根据权利要求1所述的连续动作的识别方法，其特征在于，在记录总相似度得分大于得分阈值的时间段之后，所述方法还包括：

判断所述操作人员在相同时间段内是否执行了两个以上的动作；

若是，则删掉相同时间段内执行的两个以上的动作，得到待测视频内的连续动作。